CN103384337A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本申请公开了一种图像处理装置和图像处理方法，该图像处理装置包括：视差估计单元，从左视点图像和右视点图像生成视差信息，左视点图像为应用于多维图像显示的针对左眼的图像信号，右视点图像为应用于多维图像显示的针对右眼的图像信号；插值方向控制单元，根据示出基于视差估计单元生成的视差信息的变化的程度的参数，控制包括左视点图像和右视点图像以外的视点图像的虚拟视点图像的插值方向的改变；以及虚拟视点图像生成单元，在其改变由插值方向控制单元控制的插值方向上生成虚拟视点图像。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及一种图像处理装置和图像处理方法，更具体地，涉及一种能够使得当插值方法改变时前帧和后帧的不匹配不容易被注意到的图像处理装置、图像处理方法和程序。

背景技术

在三维（3D）图像显示处理中，一种使得用户能够在不佩戴眼镜的情况下感知立体图像的裸眼式3D显示设备已经开始投入实际应用。该裸眼式3D显示设备包括设置在显示平面上的双凸透镜片或视差屏障，并且通过观看位置控制输入到左眼和右眼的图像。即，裸眼式3D显示设备执行控制操作以使得与从左眼观察到的图像对应的左视点图像由左眼观察到，以及与从右眼观察到的图像对应的右视点图像由右眼观察到。

但是，根据以上方法，仅在相对于显示器的有限的观看位置处获得正确的立体视觉。因此，当用户的观察位置与预定位置不同时，发生针对右眼的图像（右视点图像）可能输入到左眼而针对左眼的图像（左视点图像）可能输入到右眼的颠倒（reverse）视觉，或者左视点图像和右视点图像混合的串扰。

同时，已经提出了如下配置：其中，不仅生成和显示与一个常规观察位置对应的标准左视点图像和标准右视点图像，而且生成和显示来自被设置为当在其他观察位置处观察显示器时不引起串扰的新视点的图像。

不仅一组原始左视点图像和右视点图像而且其他虚拟视点的图像均被生成为多视点图像，根据用户的观察位置从多视点图像中选择一组最佳左视点图像和右视点图像，并且执行抑制颠倒视觉或串扰的图像显示。即，即使在用户的观察位置改变时，也使得根据用户的观察位置而不同的一对左视点图像和右视点图像被观察到，并且使得根据观察位置的左视点图像和右视点图像被观察者的左眼和右眼观察到。

具体地，基于原始的两视点图像即输入到显示设备或图像处理装置的用于3D图像显示的左视点图像（L图像）和右视点图像（R图像）的两个视点图像执行插值，以使得生成两个视点以外的虚拟视点的视点图像。

使得所生成的多视点图像中根据用户相对于显示器的观察位置的两个最佳图像的组合被用户观察到，并且使能在各个观察位置处的3D图像的观察，在该3D图像中，抑制了左视点图像和右视点图像混合的串扰。

例如，在日本专利申请特开平（JP-A）2006-115198中提出了如下方法：输入原始左视点图像（L图像）和原始右视点图像（R图像），执行来自两个图像的视差检测；以及基于所检测的视差信息生成多个虚拟视点图像。具体地，公开了如下方法：检测来自输入左视点图像（L图像）和输入右视点图像（R图像）的两个原始3D图像的视差；基于串扰量或者融合视差范围来确定与输入LR图像的视点位置不同的虚拟视点位置。

发明内容

如上所述，已经提出了如下插值方法：当生成除了两个视点以外的虚拟视点的视点图像时，基于左视点图像（L图像）和右视点图像（R图像）的两个视点图像执行插值。

但是，当仅单一插值方法对应于所有输出相位时，在生成的虚拟视点图像中可能发生失真或模糊。

当多种插值方法一起使用时，如果输出相位可以随时间改变，则虚拟视点图像可以随时间改变。

期望使得当插值方法改变时，前帧和后帧的不匹配能够不容易被注意到。

根据本公开的一个实施例，提供了一种图像处理装置，包括：视差估计单元，从左视点图像和右视点图像生成视差信息，所述左视点图像为应用于多维图像显示的针对左眼的图像信号，所述右视点图像为应用于多维图像显示的针对右眼的图像信号；插值方向控制单元，根据示出基于所述视差估计单元生成的视差信息的变化的程度的参数，控制包括左视点图像和右视点图像以外的视点图像的虚拟视点图像的插值方向的改变；以及虚拟视点图像生成单元，在其改变由插值方向控制单元控制的插值方向上生成所述虚拟视点图像。

插值方向控制单元可以在所述参数示出的变化大的时候禁止所述虚拟视点图像的插值方向的改变。

插值方向控制单元可以在所述参数示出的变化小的时候执行所述虚拟视点图像的插值方向的改变。

基于视差估计单元生成的视差信息的变化可以是时间变化。

图像处理装置还可以包括可靠性计算单元，计算由视差估计单元生成的视差信息的可靠性。示出基于视差估计单元生成的视差信息的变化的程度的参数可以是可靠性计算单元计算的视差信息的可靠性，插值方向控制单元可以根据可靠性计算单元计算的视差信息的可靠性来控制虚拟视点图像的插值方向的改变。

示出基于视差估计单元生成的视差信息的变化的程度的参数可以是根据视差估计单元生成的视差信息计算的缩放值，插值方向控制单元可以根据从视差估计单元生成的视差信息计算的缩放值控制虚拟视点图像的插值方向的改变。

插值方向控制单元可以根据示出基于视差估计单元生成的视差信息的变化的程度的参数，来选择一个方向作为虚拟视点图像的插值方向，当所选择的一个方向在一段持续时间内被连续选择作为虚拟视点图像的插值方向时，插值方向控制单元可以将虚拟视点图像的插值方向改变为所选择的一个方向，并且当所选择的一个方向未在一段持续时间内被连续选择作为虚拟视点图像的插值方向时，插值方向控制单元可以禁止改变虚拟视点图像的插值方向。

虚拟视点图像生成单元可以将视点位置的收敛位置设置到左视点或右视点，并且使用视差估计单元生成的视差信息计算要生成虚拟视点图像的虚拟视点位置，以及在所计算的虚拟视点位置处在其改变由插值方向控制单元控制的插值方向上生成虚拟视点图像。

虚拟视点图像生成单元可以将视点位置的收敛位置设置到左视点和右视点之间的任何位置，并且使用视差估计单元生成的视差信息计算要生成虚拟视点图像的虚拟视点位置，以及在所计算的虚拟视点位置处在其改变由插值方向控制单元控制的插值方向上生成虚拟视点图像。

图像处理装置还可以包括面部检测单元，检测观看由虚拟视点图像生成单元生成并且显示在显示单元上的虚拟视点图像的用户的面部的位置。插值方向控制单元可以根据面部检测单元检测的用户的面部的位置，来控制虚拟视点图像的插值方向的改变。

显示由虚拟视点图像生成单元生成的虚拟视点图像的显示单元可以是能够戴在用户的头上的，图像处理装置还可以包括面部检测单元，检测观看显示在显示单元上的虚拟视点图像的用户的面部的位置和方向，并且插值方向控制单元可以根据面部检测单元检测的用户的面部的位置和方向，来控制虚拟视点图像的插值方向的改变。

图像处理装置还可以包括场景改变检测单元，检测来自左视点图像或右视点图像的场景改变。插值方向控制单元可以在场景改变检测单元检测到场景改变时执行虚拟视点图像的插值方向的改变。

根据本公开的一个实施例，提供了一种图像处理方法，包括：使图像处理装置从左视点图像和右视点图像生成视差信息，所述左视点图像为应用于多维图像显示的针对左眼的图像信号，所述右视点图像为应用于多维图像显示的针对右眼的图像信号；使图像处理装置根据示出基于所生成的视差信息的变化的程度的参数，控制包括左视点图像和右视点图像以外的视点图像的虚拟视点图像的插值方向的改变；以及使图像处理装置在其改变受控制的插值方向上生成虚拟视点图像。

根据本公开的一个实施例，视差信息从左视点图像和右视点图像生成，所述左视点图像为应用于多维图像显示的针对左眼的图像信号，所述右视点图像为应用于多维图像显示的针对右眼的图像信号；包括左视点图像和右视点图像以外的视点图像的虚拟视点图像的插值方向的改变根据示出基于所生成的视差信息的变化的程度的参数控制。此外，在其改变受控制的插值方向上生成虚拟视点图像。

根据上述本公开的实施例，可以生成包括左视点图像和右视点图像以外的视点图像的虚拟视点图像。具体地，当插值方向改变时，可以防止前帧和后帧的失配容易被注意到。

附图说明

图1是示出了现有技术的图；

图2是示出了本公开应用的图像处理装置的配置示例的框图；

图3是示出了视差估计单元的处理的示例的图；

图4是示出了视差估计单元的处理的示例的图；

图5是示出了基本虚拟视点图像的生成处理的图；

图6是示出了基本虚拟视点图像的生成处理的图；

图7是示出了基本虚拟视点图像的生成处理的图；

图8是示出了虚拟视点图像生成单元的配置示例的框图；

图9是示出了视点位置调整处理的图；

图10是示出了虚拟视点图像位置的设置示例的图；

图11是示出了插值方向的选择处理的图；

图12是示出了图像合成单元的配置示例的框图；

图13是示出了一视点图像合成单元的配置示例的框图；

图14是示出了图像处理装置的图像处理的示例的流程图；

图15是示出了视点位置调整处理的流程图；

图16是示出了插值方向的选择处理的流程图；

图17是示出了本公开应用的图像处理装置的配置示例的框图；图18是示出了可靠性计算单元的处理的图；

图19是示出了可靠性计算单元的处理的图；

图20是示出了可靠性计算单元的处理的图；

图21是示出了可靠性计算单元的处理的图；

图22是示出了虚拟视点图像生成单元的配置示例的框图；

图23是示出了虚拟视点图像位置的设置示例的图；

图24是示出了插值方向的选择处理的图；

图25是示出了图像处理装置的图像处理的示例的流程图；

图26是示出了视点位置调整处理的流程图；

图27是示出了插值方向的选择处理的流程图；

图28是示出了本公开应用的图像处理装置的图；

图29是示出了图像处理装置的配置示例的框图；

图30是示出了虚拟视点图像生成单元的配置示例的框图；

图31是示出了虚拟视点图像位置的设置示例的图；

图32是示出了本公开应用的图像处理装置的图；

图33是示出了图像处理装置的配置示例的框图；

图34是示出了视点位置测量单元的操作的图；

图35是示出了虚拟视点图像生成单元的配置示例的框图；

图36是示出了图像处理装置的图像处理的示例的流程图；

图37是示出了视点位置调整处理的流程图；

图38是示出了插值方向的选择处理的流程图；

图39是示出了本公开应用的图像处理装置的图；

图40是示出了图像处理装置的配置示例的框图；

图41是示出了本公开应用的图像处理装置的配置示例的框图；

图42是示出了场景改变检测单元的处理的图；

图43是示出了执行场景的分析处理的虚拟视点图像生成单元的配置示例的框图；

图44是示出了执行插值方向的选择处理和图像合成处理的虚拟视点图像生成单元的配置示例的框图；

图45是示出了图像处理装置的图像处理的示例的流程图；

图46是示出了场景分析处理的流程图；

图47是示出了插值方向的选择处理的流程图；

图48是示出了本公开应用的图像处理装置的配置示例的框图；

图49是示出了图像处理装置的图像处理的示例的流程图；

图50是示出了场景分析处理的流程图；

图51是示出了插值方向的选择处理的流程图；以及

图52是示出了计算机的配置示例的框图。

具体实施方式

下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明书和附图中，用相同的参考标号表示具有基本上相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。

将按照下述顺序进行以下描述。

1．现有技术的描述

2．第一实施例（视差范围）

3．第二实施例（可靠性）

4．第三实施例（运动视差）

5．第四实施例（运动视差+面部检测）

6．第五实施例（头戴式显示器）

7．第六实施例（离线处理）

8．第七实施例（计算机）

<1．现有技术的描述>

[现有技术的描述]

首先，将参照图1描述现有技术。

在现有技术中，在生成显示在裸眼式3D显示器11上的图像的装置中，基于输入到观看裸眼式3D显示器11的用户的左眼的视点图像A或者输入到右眼的视点图像B生成输出图像。

这里，考虑如下情形：其中，插值方向在时刻t-1和t处从输入到左眼的视点图像A改变至输入到右眼的视点图像B。在图像中，包括竖直方向的粗线。

具体地，在时刻t-1处，从输入到左眼的视点图像A计算估计视差L-R并且生成时刻t-1处的输出图像。在时刻t处，从输入到右眼的视点图像B计算估计视差R-L并且生成时刻t处的输出图像。

如图1的右上侧处所示，如果估计视差L-R和估计视差R-L匹配，则时刻t-1处的输出图像的粗线和时刻t处的输出图像的粗线几乎对齐。

但是，如在图1的右下侧处所示，估计视差L-R和估计视差R-L中的至少一个是错误的，时刻t-1处的输出图像的粗线和时刻t处的输出图像的粗线可能无法对齐。

由此，在时刻t至t-1处，可以容易注意到改变的错误，其中，输出图像的粗线看起来好像粗线在水平方向或深度方向上跳跃了。

因此，在本公开中，防止当插值方向改变时前帧和后帧的不匹配被容易注意到。下文中，将详细描述本公开。

<2．第一实施例（视差范围）>

[图像处理装置的配置示例]

图2是示出了本公开应用的图像处理装置的配置示例的框图。

在图2的示例中，图像处理装置100包括左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、虚拟视点图像生成单元105和显示控制单元106。图像处理装置100中生成的图像输出至显示单元110。

在图2所示的配置中，显示单元110设置在图像处理装置100的外部。但是，显示单元110可以设置在图像处理装置100内部。

图2示出了图像处理装置的主要配置。因此，除了图2所示的配置之外，图像处理装置100还包括：具有程序执行功能的控制单元比如CPU，以执行数据处理控制；存储单元，用于存储在控制单元中执行的程序或者各种参数；以及输入单元，用于输入参数或图像数据。例如，控制单元根据预先存储在存储单元中的程序执行以下要描述的处理。

左视点图像（L图像）输入单元101和右视点图像（R图像）输入单元103分别输入预先生成的用于三维（3D）图像显示的左视点图像（L图像）和右视点图像（R图像）。左视点图像（L图像）对应于从左眼观察的图像，右视点图像（R图像）对应于从右眼观察的图像。

但是，两个图像是两个标准的LR图像。即，两个图像是在包括设置在显示表面上的双凸透镜片或视差屏障的裸眼式3D显示装置中当从预定位置比如前方的中心位置观察显示器时被观察为正确3D图像的LR图像。当用户的观察位置与预定位置不同时，发生针对右眼的图像（右视点图像）可能输入到左眼而针对左眼的图像（左视点图像）可能输入到右眼的颠倒视觉，或者左视点图像和右视点图像混合的串扰。

此外，图像处理装置100基于输入的与一个常规观察位置对应的LR图像、即标准左视点图像和标准右视点图像，生成来自在不同观察位置处观察显示时不引起串扰的新视点（虚拟视点）的图像。

视差估计单元103接收左视点图像（L图像）和右视点图像（R图像）并且基于这些图像生成视差信息。下文中，将L图像和R图像统称为LR图像。视差信息变为与输入LR图像中包括的同一对象的图像之间的偏离（水平方向的像素偏离）对应的信息，并且对应于对象的距离。具体地，视差估计单元103生成具有每个像素单元或每个像素区域单元的视差信息（对象距离信息）的数据。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息输入到虚拟视点图像生成单元105。

虚拟视点图像生成单元105接收各个信息并且生成虚拟视点图像。例如，虚拟视点图像生成单元105基于根据来自视差估计单元103的视差信息计算的视差分布来调整视差量，执行虚拟视点位置的确定处理并且生成与确定的虚拟视点位置对应的虚拟视点图像。

虚拟视点图像生成单元105基于视差分布执行虚拟视点图像的生成处理。即，生成并输出通过将其他视点图像加到输入LR图像的两个视点图像所获得的总共N视点图像。例如，虚拟视点图像生成单元105计算与N个视点对应的输出相位、根据视差分布选择插值方向并且生成所选择的插值方向的虚拟视点图像。下面将详细描述该处理。

由虚拟视点图像生成单元105生成的虚拟视点图像通过显示控制单元106输出至显示单元110并且被显示。

由根据本公开的图像处理装置生成的显示图像是用户可以在不佩戴眼镜的情况下观看立体图像的裸眼式3D显示装置中的显示图像。

显示单元110是执行裸眼式3D显示的显示单元。具体地，显示单元110是如下显示单元：该显示单元包括设置在显示表面上的双凸透镜片或视差屏障，并且可以根据观看位置控制输入到左眼和右眼的图像。

显示控制单元106向显示单元110输出由虚拟视点图像生成单元105生成的N视点图像。显示控制单元106根据显示单元110的显示配置生成显示信息。

图像处理装置100可以被配置为成像装置比如包括成像单元的摄像机或者显示装置比如PC或电视机。当图像处理装置100被配置为成像装置或显示装置时，图像处理装置100具有根据各个装置的功能。

例如，摄像机具有对与不同的视点图像对应的LR图像进行成像的成像单元，并且使用从成像单元输入的LR图像生成多视点图像。

[视差估计单元的处理]

接下来，将描述视差估计单元103的处理。视差估计单元103接收左视点图像（L图像）和右视点图像（R图像）并且基于这些图像生成视差信息。视差信息变为与输入LR图像中包括的同一对象的图像之间的偏离（水平方向的像素偏离）对应的信息，并且对应于对象的距离。具体地，视差估计单元103生成具有每个像素单元的视差信息（对象距离信息）的数据。

视差信息的获取通过以下现有的方法执行。

（a）基于块匹配的视差信息获取处理

（b）基于动态编程（DP）匹配的视差信息获取处理

（c）基于分割的视差信息获取处理

（d）基于学习的视差信息获取处理

（e）上述方法的组合的视差信息获取处理

例如，视差信息通过上述（a）至（e）中的任意一种方法获取。

将参照图3简单描述基于块匹配的视差信息获取处理。视差估计单元103使用要输入为原始标准图像的左视点图像（L图像）和右视点图像（R图像），选择L图像的像素区域（块）121，并且从R图像中检测与所选择的块类似的像素区域（块）122。

即，视差估计单元103从LR图像中选择被确定为同一对象的成像区域的块（匹配块）。视差估计单元103测量匹配块在LR图像之间的位置偏离（水平方向上像素的数目）。

在图3中，R图像中与L图像的像素区域（块）121的关注像素LP=（5,3）对应的像素是像素区域（块）122的关注像素RP=（7,3）。在这种情况下，L图像的像素位置（x,y）=（5,3）处LR图像之间的视差d（5,3）被计算为通过以下表达式1代表。

[表达式1]

视差d（5,3）=（7,3）-（5,3）=（2,0）

即，L图像的像素位置（x,y）=（5,3）的视差d为两个像素。

块的位置偏离根据对象在块中成像的距离改变。即，块的位置偏离对应于对象的距离，并且获取位置偏离的信息作为视差信息。

作为视差信息的表达形式，存在深度图（距离图像或视差图）。深度图（视差图）是如下图像：其中，L图像和R图像的每个像素单元的视差（对象距离）通过像素单元的亮度表达。例如，高亮度区域示出了近的对象（接近摄像机的对象），低亮度区域示出了远的对象（远离摄像机的对象）。即，深度图是其中对象距离通过亮度示出的图像。

如图4中所示，视差估计单元103不仅基于上述参照图3所述的L图像获取作为R图像的视差信息的LR视差信息，而且基于上述参照图3所述的R图像获取作为L图像的视差信息的RL视差信息。在图4的示例中，LR视差信息由实线示出，RL视差信息由虚线或点划线示出。

如实线和虚线所示，LR视差信息和RL视差信息的符号彼此不同，但是LR视差信息和RL视差信息基本上彼此匹配。但是，由于闭塞（occlusion），RL视差可能与LR视差不匹配，如同点划线所示的RL视差一样。

作为获取RL视差信息的方法，存在以下两种方法。

（f）逆基准图像中基于块匹配的视差信息获取处理

（g）LR视差的符号的反转处理+根据相邻像素的视差的插值处理

以这种方式，在视差估计单元103中，获取并生成LR视差信息和RL视差信息。

[虚拟视点图像生成单元的操作的概述]

接下来，将描述由虚拟视点图像生成单元105执行的基于输入LR图像的基本虚拟视点图像生成处理。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像和来自视差估计单元103的视差信息输入到虚拟视点图像生成单元105。虚拟视点图像生成单元105接收各个信息并且生成虚拟视点图像。

例如，虚拟视点图像生成单元105确定预定数量（例如，10）的虚拟视点并且生成与各个虚拟视点对应的虚拟视点图像。虚拟视点图像生成单元105使用输入的标准LR图像生成虚拟视点图像。即，虚拟视点图像生成单元105使用左视点图像（L图像）和右视点图像（R图像）作为输入图像生成虚拟视点图像。将参照图5描述虚拟视点图像生成处理的具体示例。

在图5的示例中，示出了输入到图像处理装置的原始左视点图像（L图像）131和原始右视点图像（R图像）132以及基于LR图像生成的虚拟视点图像133。

左视点图像（L图像）131是从标准位置处的左视点位置观察的图像，右视点图像（R图像）132是从标准位置处的右视点位置观察的图像。

图5示出了如下情形的处理示例：其中，左视点图像（L图像）131的视点位置被设置为0.0，右视点图像（R图像）132的视点位置被设置为1.0，从视点位置0.0至1.0之间的视点位置=0.3观察的图像被生成为虚拟视点图像133。

同一对象（苹果）在不同的位置处成像在左视点图像（L图像）131和右视点图像（R图像）132中。在L图像和R图像中，同一对象的位置变得彼此不同，这是因为视点位置变得彼此不同。

当生成在视点位置=0.0与视点位置=1.0之间的视点位置=0.3的虚拟视点图像133时，通过线性插值设置对象（苹果）的位置。通过沿着图5所示的直线L1改变对象位置并且确定在每个虚拟视点处虚拟视点图像的对象位置，可以生成虚拟视点图像。

这样，基于输入LR图像通过线性插值处理生成每个虚拟视点位置的虚拟视点图像。

当生成虚拟视点图像时，可以通过用于使用输入LR图像两者来混合两个图像的处理生成虚拟视点图像。或者，可以通过用于仅适用L图像或R图像、即一个图像根据虚拟视点位置移动对象位置的处理来生成虚拟视点图像。或者，可以执行用于仅使用在接近L图像侧的虚拟视点位置处的L图像来生成虚拟视点图像以及仅使用在接近R图像的位置处的R图像来生成虚拟视点图像的处理。

将参照图6描述基于用于混合输入LR图像的虚拟视点图像131的像素值的确定处理的示例。

在图6的示例中，示出了视点位置=0处输入左视点图像（L图像）的像素P(x,y)141和视点位置=1处输入右视点图像（R图像）的像素P的对应像素142。此外，示出了视点位置=Φ处虚拟视点图像中L图像的像素P的对应像素143。在这种情况下，Φ是0至1的值。

当左视点图像（L图像）的像素P(x,y)141的视差是d(x,y)[像素]时，虚拟视点图像中L图像的像素P(x,y)的对应像素143的像素位置是像素Q(x+Φ·d(x,y),y)。即，虚拟视点图像中像素Q(x+Φ·d(x,y),y)的像素值被设置为左视点图像（L图像）的像素P(x,y)141的像素值。

这样，基于左视点图像（L图像）的像素的视差信息设置虚拟视点图像的每个像素的像素值。

没有通过以上处理嵌入在虚拟视点图像中的像素的像素值通过以下处理确定：应用右视点图像（R图像）的处理，基于相邻像素的像素值的插值处理或者用于通过左视点图像的相同坐标的像素执行插值的处理。

在图7的示例中，示出了左视点图像（L图像）的水平线151、右视点图像（R图像）的水平线152和虚拟视点图像的水平线153。图7中示出的箭头是如下线：该线连接左视点图像（L图像）的像素位置与右视点图像（R图像）的像素位置，可用于确定虚拟视点图像的水平线153的像素值。

在图7中所示的虚拟视点图像的水平线153中，1示出了其中像素值由左视点图像（L图像）的水平线151的组成像素值设置的区域，2示出了其中像素值由右视点图像（R图像）的水平线152的组成像素值设置的区域，3示出了其他区域。

这样，虚拟视点图像的像素值的设置通过以下三种处理执行。

1．针对左视点图像（L图像）的每个像素计算输出视点位置处的对应像素位置并且将左视点图像（L图像）的像素值插值到像素位置。

2．针对右视点图像（R图像）的每个像素计算输出视点位置处的对应像素位置并且将右视点图像（R图像）的像素值插值到像素位置。

3．针对没有被1和2的处理插值的输出视点图像的像素执行基于相邻像素的插值处理。

参照图6和7描述的处理是用于基于输入LR图像从与LR图像不同的虚拟视点生成图像的基本处理。

根据本公开的图像处理装置的虚拟视点图像生成单元105应用基于基本处理根据视差信息计算的缩放值（视差范围）。即，虚拟视点图像生成单元105基于缩放值确定生成的虚拟视点位置和插值方向，并且生成最终的虚拟视点图像。

[虚拟视点图像生成单元的细节]

接下来，将描述虚拟视点图像生成单元105的细节。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息输入到虚拟视点图像生成单元105。

虚拟视点图像生成单元105基于根据输入信息计算的视差分布（视差范围）调整视差量、即确定生成的虚拟视点位置（相位），并且根据缩放值选择插值方向。虚拟视点图像生成单元105基于所选择的插值方向的图像，生成与所确定的虚拟视点位置（相位）对应的虚拟视点图像。虚拟视点图像生成单元105合成所生成的虚拟视点图像、即调整的视点位置的图像，并且将合成图像输出到后面的步骤。

虚拟视点图像生成单元105基于L图像和R图像生成与所确定的虚拟视点位置（相位）对应的虚拟视点图像，并且将所生成的图像中所选择的插值方向的图像输出至后面的步骤。

图8是示出了虚拟视点图像生成单元的配置示例的图。

在图8的示例中，虚拟视点图像生成单元105包括视点位置调整单元161和图像合成单元162。

视差信息从视差估计单元103提供给视点位置调整单元161。视点位置调整单元161基于来自视差估计单元103的视差信息调整视差量，并且确定虚拟视点位置（相位）和插值方向。视点位置调整单元161将所确定的虚拟视点位置的信息和所确定的插值方向的信息提供给图像合成单元162。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息、以及来自视点位置调整单元161的虚拟视点位置和插值方向的信息输入到图像合成单元162。

图像合成单元162基于输入信息将LR图像与调整的视点位置的图像进行合成，并且将合成后的N视点图像输出至后面步骤的显示控制单元106。

[视点位置调整单元的操作]

接下来，将参照图9描述视点位置调整单元161的视点位置调整处理。

视点位置调整单元161针对来自视差估计单元103的视差信息的每一帧生成图9中所示的视差的直方图并且执行以下处理。在视差的直方图中，水平轴示出了视差，竖直轴示出了像素数（频率）。

首先，视点位置调整单元161基于视差的直方图计算视差的最大值dmax和最小值dmin。接下来，视点位置调整单元161将|dmax|和|dmin|的较大值设置为视差范围drange并且计算缩放值scale=drange/dsafe。

在这种情况下，dsafe示出了目标视差值（指定值）并且根据以下信息预先设置：串扰保持在容许范围内（依赖于显示设备）的视差或者舒适的视差范围（3D联盟安全指南）。

视点位置调整单元161计算每个视点的输出相位并且计算插值方向。即，视点位置调整单元161基于视差信息将缩放值计算为示出变化（在这种情况下，时间变化）程度的参数，并且根据缩放值示出的变化执行视点位置调整处理。

[输出相位的计算处理]

首先，参照图10描述输出相位的计算处理。视点位置调整单元161根据所计算的缩放值确定要生成的虚拟视点图像的视差、即要生成的虚拟视点图像的位置（相位）。

具体地，视点位置调整单元161根据0至1的缩放值执行图10中所示的虚拟视点位置的确定处理。如果缩放值（视差范围）小，则时间变化、即失配可能小，如果缩放值大，则时间变化、即失配可能大。

图10是示出了当缩放值为0至1时虚拟视点图像位置的设置示例的图。视点位置=0是与输入L图像对应的视点位置，视点位置=1是与输入R图像对应的视点位置。

即，在缩放值=1的线上的图像b对应于从左视点图像（L图像）输入单元101输入的输入L图像，图像h对应于从右视点图像（R图像）输入单元102输入的输入R图像。

在缩放值=1的线上的其他竖直线示出了当缩放值为1（失配很可能为大）时在虚拟视点图像生成单元105中生成的虚拟视点图像的位置（相位）。在该示例中，生成并输出包括输入LR图像的总共9个不同的视点图像a至i。

在缩放值=1的情况下，视点位置调整单元161将图10的上部的图像a至i确定为虚拟视点图像的设置位置，并且将虚拟视点位置信息输出至图像合成单元162。根据以上参照图5至7描述的处理执行虚拟视点图像的生成处理。

在缩放值=0.5、即中间值的情况下，视点位置调整单元161将图10的中部的图像a2至i2确定为虚拟视点图像的设置位置，并且将虚拟视点位置信息输出至图像合成单元162。

在中间缩放值=0.5的情况下，如图10所示，虚拟视点图像a2至i2的视差范围变得窄于在缩放值=1的情况下虚拟视点图像a至i的视差范围。

在缩放值=0的情况下，即在几乎不产生失配的情况下，视点位置调整单元161将图10的下部的图像a3至i3确定为虚拟视点图像的设置位置，并且将虚拟视点位置信息输出至图像合成单元162。

图10的下部的图像a3至i3的图像位置对应于输入R图像的图像位置。即，在这种情况下，输入R图像原样输出，而不生成新的虚拟视点图像。虚拟视点图像生成单元105原样输出输入L图像，并且仅输入LR图像输出至显示单元。

视点位置调整单元161根据以下算法执行虚拟视点图像的设置位置（相位）的计算处理。

预先确定在缩放值=1的情况下生成的虚拟视点图像。例如，虚拟视点图像是图10中所示的位置a至i处的虚拟视点图像。所计算的缩放值设置为S（0≤S）。当原始视点位置设置为V0并且在缩放值=0处视点位置收敛到右时，根据缩放值设置的虚拟视点图像位置（相位）V通过以下表达式2表示。

[表达式2]

V=(V0–1)·S+1

[插值方向的选择处理]

接下来，将参照图11描述视点位置调整单元161的插值方向的选择处理。在图11的示例中，水平轴示出了相位，竖直轴示出了缩放值S。缩放值是等于或大于0但是不限于0至1的值。在图11的示例中，N示出为大于th的值。但是，N可以具有大于1的值。在图11的示例中，将描述在缩放值S=0处收敛的位置为右（1）的情形。

视点位置调整单元161根据缩放值选择插值方向。此时，如上所述，当缩放值（视差范围）为小时，左图像和右图像的失配小。为此，视点位置调整单元161在缩放值大于预定阈值th时将右设置为临时插值方向。即，在这种情况下，视点位置调整单元161禁止将插值方向改变为左。

同时，在缩放值等于或小于预定阈值th的情况下，视点位置调整单元161设置临时插值方向，以使得从近侧的图像执行插值。即，当视点相位为0.5或更小时，视点位置调整单元161将左设置为临时插值方向，当视点相位大于0.5时，视点位置调整单元161将右设置为临时插值方向。在这种情况下，视点位置调整单元161执行插值方向的改变（允许插值方向的改变）。

由此，可以防止当左图像和右图像的失配大时插值方向的改变。

视点位置调整单元161如下执行时间稳定处理。即，当临时插值方向在一段时间内为左时，视点位置调整单元161将插值方向设置为左，并且当临时插值方向在一段时间内为右时，视点位置调整单元161将插值方向设置为右。在其他情况下，视点位置调整单元161将与前一帧相同的方向设置为插值方向。

在起始帧的情况下，将临时插值方向（接近图像）设置为插值方向。

由此，可以抑制箭头A或B示出的插值方向发生频繁改变。即，可以抑制插值方向的高频时间变化以及在左眼和右眼两只眼的不同定时的变化。

在以上描述中，描述了在缩放值S=0处收敛的位置为右（1）的情形的示例。但是，在缩放值S=0处收敛的位置可以为左（0）。当在缩放值S=0处收敛的位置为左（0）并且缩放值大于预定阈值th时，将左设置为临时插值方向。

[图像合成单元的配置]

图12是示出了图像合成单元162的配置示例的图。

在图12的示例中，图像合成单元162包括与所生成的包括输入LR图像的虚拟视点图像对应的一视点图像合成单元171-1至171-N。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息（左/右）输入到一视点图像合成单元171-1至171-N。

视点1的插值方向1和输出相位位置1从视点位置调整单元161输入到一视点图像合成单元171-1。一视点图像合成单元171-1基于视差信息，使用输入L图像和输入R图像生成与输出相位位置1对应的虚拟视点图像。一视点图像合成单元171-1选择使用与插值方向1对应的方向（左或右）的图像生成的虚拟视点图像，并且将该虚拟视点图像作为合成图像1输出至后面步骤的显示控制单元106。

视点2的插值方向2和输出相位位置2从视点位置调整单元161输入到一视点图像合成单元171-2。一视点图像合成单元171-2基于视差信息，使用输入L图像和输入R图像生成与输出相位位置2对应的虚拟视点图像。一视点图像合成单元171-2选择使用与插值方向2对应的方向（左或右）的图像生成的虚拟视点图像，并且将该虚拟视点图像作为合成图像2输出至后面步骤的显示控制单元106。

视点N的插值方向N和输出相位位置N从视点位置调整单元161输入到一视点图像合成单元171-N。一视点图像合成单元171-N基于视差信息，使用输入L图像和输入R图像生成与输出相位位置N对应的虚拟视点图像。一视点图像合成单元171-N选择使用与插值方向N对应的方向（左或右）的图像生成的虚拟视点图像，并且将该虚拟视点图像作为合成图像N输出至后面步骤的显示控制单元106。

下文中，当不需要具体区分一视点图像合成单元171-1至171-N时，将一视点图像合成单元171-1至171-N统一描述为一视点图像合成单元171。

[一视点图像合成单元的配置]

图13是示出了一视点图像合成单元171的配置示例的图。

一视点图像合成单元171包括左图像合成单元181、右图像合成单元182和选择单元183。

来自左视点图像（L图像）输入单元101的L图像、来自视差估计单元103的视差信息（左）以及来自视点位置调整单元161的输出相位位置输入到左图像合成单元181。左图像合成单元181基于视差信息（左），使用输入L图像生成与输出相位位置对应的虚拟视点图像，并且将虚拟视点图像输出至选择单元183。

来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息（右）以及来自视点位置调整单元161的输出相位位置输入到右图像合成单元182。右图像合成单元182基于视差信息（右），使用输入R图像生成与输出相位位置对应的虚拟视点图像，并且将虚拟视点图像输出至选择单元183。

来自视点位置调整单元161的插值方向、使用来自左图像合成单元181的L图像生成的虚拟视点图像以及使用来自右图像合成单元182的R图像生成的虚拟视点图像输入到选择单元183。

选择单元183选择使用与来自视点位置调整单元161的插值方向对应的方向的图像生成的虚拟视点图像，并且将该虚拟视点图像作为合成图像输出至后面步骤的显示控制单元106。

[图像处理装置的处理示例]

接下来，将参照图14的流程图描述图像处理装置100的图像处理。

在步骤S101中，左视点图像（L图像）输入单元101和右视点图像（R图像）输入单元102分别输入左视点图像（L图像）和右视点图像（R图像）。

输入的左视点图像（L图像）和右视点图像（R图像）提供给视差估计单元103和虚拟视点图像生成单元105。

在步骤S102中，如上参照图3和图4所述，视差估计单元103使用所提供的左视点图像（L图像）和右视点图像（R图像）估计视差。视差估计单元103的估计结果的视差信息提供给虚拟视点图像生成单元105。

在步骤S103和S104中，虚拟视点图像生成单元105执行虚拟视点图像生成处理。

即，在步骤S103中，视点位置调整单元161调整视点位置。下面参照图15描述视点位置调整处理。N视点的输出相位位置的信息和N视点的插值方向的信息通过步骤S103生成，并且提供给图像合成单元162。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息输入到图像合成单元162。

在步骤S104中，图像合成单元162基于输入信息对LR图像与调整的视点位置的图像进行合成。

即，如上参照图12和13所述，图像合成单元162基于视差信息，使用输入L图像和输入R图像生成与输出相位位置对应的虚拟视点图像。一视点图像合成单元171选择使用与插值方向对应的方向（左或右）的图像生成的虚拟视点图像，并且将该虚拟视点图像作为合成图像输出至后面步骤的显示控制单元106。

在步骤S105中，显示控制单元106在显示单元110上显示N视点图像。

[视点位置调整处理的示例]

接下来，将参照图15的流程图描述图14的步骤S103中的视点位置调整处理的示例。在图15的示例中，当缩放值为0时，视点位置收敛到右。

在步骤S111中，视点位置调整单元161基于视差的直方图计算视差的最大值dmax和视差的最小值dmin。

在步骤S112中，视点位置调整单元161将|dmax|和|dmin|的较大值设置为视差范围drange。在步骤S113中，视点位置调整单元161计算缩放值scale=drange/dsafe。

在步骤S114中，如上参照图10所述，视点位置调整单元161基于缩放值计算输出相位。通过步骤S114的处理计算的输出相位位置输出至图像合成单元162。

在步骤S115中，视点位置调整单元161执行以上参照图11所述的插值方向的选择处理。将参照图16的流程图描述插值方向的选择处理。

在这种情况下，n示出了视点编号，N示出了视点的总数，St示出了缩放值，S_th示出了阈值（参数），t示出了时间（帧），t0示出了特定时间（参数），Vn,t示出了视点相位，Dn,t示出了插值方向，D’n,t示出了临时插值方向。

在步骤S121中，视点位置调整单元161用-1代替t。在步骤S122中，视点位置调整单元161确定是否所有场景结束。当确定所有场景结束时，视点位置调整单元161结束插值方向选择处理。

当在步骤S122中确定不是所有场景都结束时，处理进行到步骤S123。在步骤S123中，视点位置调整单元161用t+1代替t。在步骤S124中，视点位置调整单元161用0代替n。

在步骤S125中，视点位置调整单元161确定n是否等于或大于N。当确定n等于或大于N时，处理返回步骤S122并且重复随后的处理。

当在步骤S125中确定n小于N时，处理进行到步骤S126。在步骤S126中，视点位置调整单元161用n+1代替n。在步骤S127中，视点位置调整单元161确定St是否大于S_th。当在步骤S127中确定St等于或小于S_th时，处理进行到步骤S128。

在步骤S128中，视点位置调整单元161确定Vn,t是否等于或小于0.5。当确定Vn,t等于或小于0.5时，处理进行到步骤S129，且视点位置调整单元161用“左”代替D’n,t。即，在步骤S129中，将左设置为临时插值方向。

当在步骤S127中确定St大于S_th时，处理进行到步骤S130。当在步骤S128中确定Vn,t大于0.5时，处理进行到步骤S130。

在步骤S130中，视点位置调整单元161用“右”代替D’n,t。即，在步骤S130中，将右设置为临时插值方向。

在步骤S131中，视点位置调整单元161确定t是否为0。当确定t不为0时，处理进行到步骤S132。在步骤S132中，视点位置调整单元161用T0和t的较小的值代替t0。

在步骤S133中，视点位置调整单元161确定在s=t-t0到t中是否所有的D’n,s都为“左”。当在步骤S133中确定在s=t-t0到t中不是所有的D’n,s都为“左”时，处理进行到步骤S134。

在步骤S134中，视点位置调整单元161确定在s=t-t0到t中是否所有的D’n,s都为“右”。当在步骤S134中确定在s=t-t0到t中所有的D’n,s都为“右”时，处理进行到步骤S135。在步骤S135中，视点位置调整单元161用“右”代替Dn,t。即，在步骤S135中，将右设置为插值方向。

当在步骤S133中确定所有的D’n,s都为“左”时，处理进行到步骤S136。在步骤S136中，视点位置调整单元161用“左”代替Dn,t。即，在步骤S136中，将左设置为插值方向。

当在步骤S134中确定在s=t-t0到t中不是所有的D’n,s都为“右”时，处理进行到步骤S137。在步骤S137中，视点位置调整单元161用Dn,t-1代替Dn,t。即，在步骤S137中，将前一帧的插值方向设置为插值方向。

同时，当在步骤S131中确定t为0时，处理进行到步骤S138。在步骤S138中，视点位置调整单元161用D’n,t代替Dn,t。即，在步骤S138中，将临时插值方向设置为插值方向。

在图16的示例中，步骤S131之后的处理是时间稳定处理。

如上所述，由于插值方向根据缩放值（视差范围）设置，因此可以防止当左图像和右图像的失配大时插值方向的改变。

由于执行时间稳定处理，因此可以抑制插值方向的改变频繁产生。即，可以抑制插值方向的高频时间变化以及在左眼和右眼两只眼的不同定时的变化。

<3．第二实施例（可靠性）>

[图像处理装置的配置示例]

图17是示出了本公开应用的图像处理装置的另一个配置示例的框图。在图17的示例中，代替以上参照图9所述的缩放值，基于视差信息计算可靠性作为示出变化程度（在这种情况下，时间变化）的参数，以及根据可靠性所示出的变化执行视点位置调整处理。

在图17的示例中，图像处理装置200包括左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、可靠性计算单元201、虚拟视点图像生成单元202和显示控制单元106。图像处理装置200中生成的图像输出至显示单元110。

图17的图像处理装置200与图2的图像处理装置100的相同之处在于设置了左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103和显示控制单元106。但是，图17的图像处理装置200与图2的图像处理装置100的不同之处在于另外设置了可靠性计算单元201以及虚拟视点图像生成单元105由虚拟视点图像生成单元202取代。

即，来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息提供到可靠性计算单元201。

可靠性计算单元201基于输入LR图像计算由视差估计单元103估计的每个像素单元或每个像素区域单元的视差信息的可靠性。可靠性计算单元201将计算的可靠性的信息提供给虚拟视点图像生成单元202。

虚拟视点图像生成单元202根据从可靠性计算单元201输入的可靠性信息执行虚拟视点位置的确定处理，并且生成与所确定的虚拟视点位置对应的虚拟视点图像。

虚拟视点图像生成单元202基于可靠性信息执行虚拟视点图像的生成处理。即，生成并输出通过将其他视点图像加到输入LR图像的两个视点图像上所获得的总共N视点图像。例如，虚拟视点图像生成单元202计算与N个视点对应的输出相位，根据可靠性信息选择插值方向，并且生成所选择的插值方向的虚拟视点图像。下面将详细描述该处理。

[可靠性计算单元的处理]

将参照图18描述可靠性计算单元201的处理。

首先，可靠性计算单元201将从视差估计单元103输入的像素单元的估计视差信息212应用于从左视点图像（L图像）输入单元101输入的L图像211，并且生成视差补偿图像213。

估计视差信息212被称为视差图，并且是其中视差估计单元103生成的视差信息用亮度表达的图像数据。视差图是其中视差（对象距离）通过像素单元的亮度表达的图像。例如，高亮度区域示出了近的对象（接近摄像机的对象），低亮度区域示出了远的对象（远离摄像机的对象）。即，视差图是对象距离通过亮度示出的图像。

视差补偿图像213是虚拟视点相位中的虚拟视点图像，其通过将从视差估计单元103输入的像素单元的估计视差信息212应用于L图像211生成。

接下来，可靠性计算单元201将从视差估计单元103输入的像素单元的估计视差信息215应用于从右视点图像（R图像）输入单元102输入的R图像216，并且生成视差补偿图像214。

估计视差信息215被称为视差图，并且是其中视差估计单元103生成的视差信息用亮度表达的图像数据。视差图是其中视差（对象距离）通过像素单元的亮度表达的图像。例如，高亮度区域示出了近的对象（接近摄像机的对象），低亮度区域示出了远的对象（远离摄像机的对象）。即，视差图是对象距离通过亮度示出的图像。

视差补偿图像214是虚拟视点相位中的虚拟视点图像，其通过将从视差估计单元103输入的像素单元的估计视差信息215应用于R图像216生成。

如果对视差估计单元103生成的像素单元的估计视差信息212和估计视差信息215进行了校正，则通过应用估计视差信息212生成的视差补偿图像213和通过应用估计视差信息215生成的视差补偿图像214彼此匹配。

但是，实际上，估计误差包括在视差估计单元103生成的估计视差信息212和估计视差信息215中，在基于L图像211生成的视差补偿图像213和基于R图像216生成的视差补偿图像214中产生差别。

生成以像素为单位计算视差补偿图像213和视差补偿图像214的对应像素单元的像素值差的图，即图18中所示的残余误差图217。残余误差图217是视差补偿图像213和视差补偿图像214的对应像素单元的像素值差用深浅信息表达的图。例如，黑色部分示出了差较大的部分。

在图18的示例中，可靠性计算单元201包括可靠性转换单元218，可靠性转换单元218将为来自残余误差图217的像素单元的差的残余误差与预定阈值（Th）进行比较，并且对残余误差大于阈值（Th）的像素数进行计数。可靠性转换单元218将计数值设置为N并且根据N的值确定视差估计单元103生成的估计视差信息的可靠性R。

即，当残余误差大于阈值（Th）的像素数N较大时，可靠性转换单元218确定视差估计单元103生成的估计视差信息的可靠性R较低。同时，当残余误差大于阈值（Th）的像素数N较小时，可靠性转换单元218确定视差估计单元103生成的估计视差信息的可靠性R较高。

阈值（Th）可以根据图像的区域改变。例如，在平坦区域中阈值减小，在具有纹理或边缘的区域中阈值增大。

残余误差大于阈值（Th）的像素数N与视差估计单元103生成的估计视差信息的可靠性R的对应关系具体指定为图19中所示的对应关系。

即，可靠性转换单元218根据残余误差大于阈值（Th）的像素数N的值计算视差估计单元103生成的估计视差信息的可靠性R的值，如以下表达式3所示。

[表达式3]

0≤N≤Nmin：可靠性R=Rmax

Nmin≤N≤Nmax：可靠性R=Rmax至Rmin

Nmax≤N：可靠性R=Rmin

在这种情况下，指定值用作Nmin、Nmax、Rmin和Rmax。在Nmin≤N≤Nmax的范围内，可靠性R在Rmax和Rmin之间线性地改变。

已经描述了根据视差信息生成视差补偿图像的情形的示例。但是，可以从虚拟视点图像生成单元202获取视差补偿图像。可以针对所有多个虚拟视点执行上述处理，以及一个虚拟视点相位的结果（例如，在右视点位置处的结果）可以用于其它视点。这些可以选择。

在参照图18和19描述的处理中，执行基于残余误差分量的估计视差的可靠性计算处理，其中从视差估计单元103输入的视差单元的估计视差信息应用于残余误差分量。同时，即使当生成存在估计视差的误差、即残余误差分量的虚拟视点图像时，残余误差分量也可以根据图像的每个区域的特征（特点）而明显或几乎不明显。因此，当执行基于残余误差分量的可靠性确定时，可以根据图像的每个区域的特征执行不同的处理。

具体地，当生成存在残余误差分量的虚拟视点图像时，在图像被观察时，残余误差分量对图像的影响、即估计误差的偏离在纹理区域中增大并且误差变得明显。同时，在图像被观察时，残余误差分量对图像的影响、即估计误差的偏离在平坦区域中减小并且误差不明显。

考虑到上述情形，可以检测图像的区域的特征（特点），并且可以根据检测到的图像区域单元的特征自适应地改变残余误差分量的导出方法。例如，可以将特征量比如空间活动性和动态范围检测作为图像区域的特征量。

根据残余误差分量计算的可靠性根据图像区域单元的特征量自适应地改变。具体地，执行根据图像区域单元的特征量改变用于以上参照图19所述的可靠性计算处理的各个参数的处理。以下作为参数的示例，作为图19的曲线图中所示的参数的Nmin、Nmax、Rmin和Rmax以及以上参照图18所述的阈值（Th）。

将参照图20描述具体示例。图20是示出了如下情形的示例的图：其中，针对图像例如输入L图像检测用作像素单元的特征量的空间活动性，以上参照图18所述的阈值（Th）根据空间活动性的值改变，以及改变用作残余误差分量的索引的计数值（N）。

空间活动性被计算为基于关注像素的像素区域（例如，3×3像素）中相邻像素之间的像素值的差的绝对值的总和，如图20中所示（空间活动性计算处理的示例）。可以确定像素值的差的绝对值的总和为大的区域为纹理区域（边缘区域），以及值为小的区域为平坦区域。

在图20所示的曲线图中，水平轴示出了空间活动性，竖直轴示出了残余误差成分，各个点对应于各个像素的空间活动性和残余误差分量的值。在这种情况下，根据图像区域的空间活动性改变以上参照图18所述的阈值（Th），即调节是否被包括为计数N的计数值以确定存在残余误差的阈值（Th）。通过执行上述设置，执行根据图像的各个区域的特征的可靠性计算。

参照图20所述的处理示例是应用了用作图像区域的特征量的空间活动性的处理示例。可以应用动态范围作为图像区域的特征量。

将参照图21描述如下情形的示例：其中，获取动态范围作为图像区域的特征量，并且基于动态范围的值改变处理方面。

图21示出了从左视点图像（L图像）输入单元101和右视点图像（R图像）输入单元102输入的两个图像区域。即，示出了基于输入L图像的关注像素的3×3像素的图像区域221和基于输入R图像的关注像素的3×3像素的图像区域222。

图像区域是通过视差估计单元103中的视差估计处理被提取为对应的像素块的对应块。即，如果视差估计正确，则同一对象的图像被成像在两个像素块中。

首先，基于输入L图像的关注像素从包括在3×3像素的图像区域221中包括的9个像素中获取具有最大像素值（亮度值）的像素的像素值（maxL）和具有最小像素值（亮度值）的像素的像素值（minL）。

同样，基于输入R图像的关注像素从包括在3×3像素的图像区域222中包括的9个像素中获取具有最大像素值（亮度值）的像素值（maxR）和具有最小像素值（亮度值）的像素值（minR）。

如以下表达式4和5所示计算使用L图像的像素块的像素值的中间值和动态范围的计算值（Lx）和使用R图像的像素块的像素值的中间值和动态范围的计算值（Rx）。

[表达式4]

Lx=(maxL+minL)/2+α(maxL–minL)～(maxL+minL)/2-α(maxL–minL)

[表达式5]

Rx=(maxR+minR)/2+α(maxR–minR)～(maxR+minR)/2-α(maxR–minR)

在这种情况下，(maxL+minL)/2对应于L图像的像素块的像素值的中间值，(maxL–minL)对应于L图像的像素块的像素值的动态范围。另外，(maxR+minR)/2对应于R图像的像素块的像素值的中间值，(maxR–minR)对应于R图像的像素块的像素值的动态范围。α是系数。

计算Lx和Rx的差的最小值，该差为关注像素的残余误差分量。此时，Lx和Rx的差的最小值根据每个像素块的动态范围改变。结果，自适应地调整根据像素块单元的动态范围计算的残余误差分量。

可以使用动态范围作为图像区域的特征量执行根据图像的每个区域的动态范围的值的可靠性计算。

[虚拟视点图像生成单元的配置]

图22是示出了虚拟视点图像生成单元202的配置示例的图。

在图22的示例中，虚拟视点图像生成单元202包括视点位置调整单元231和图像合成单元162。图22的虚拟视点图像生成单元202与图8的虚拟视点图像生成单元105的不同在于视点位置调整单元161被视点位置调整单元231所替代。

即，可靠性信息从可靠性计算单元201提供给视点位置调整单元231。视点位置调整单元231基于来自可靠性计算单元201的可靠性信息调整视差量，并且确定虚拟视点位置（相位）和插值方向。视点位置调整单元231将确定的虚拟视点位置的信息和所确定的插值方向的信息提供给图像合成单元162。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息、以及来自视点位置调整单元161的虚拟视点位置和插值方向的信息输入到图像合成单元162。

图像合成单元162基于输入信息合成LR图像与调整的视点位置的图像，并且将合成的N视点图像输出到后面的步骤的显示控制单元106。

[输出相位的计算处理]

首先，将参照图23描述视点位置调整单元231的输出相位的计算处理。视点位置调整单元231根据来自可靠性计算单元201的可靠性确定要生成的虚拟视点图像的视差，即生成的虚拟视点图像的位置（相位）。

具体地，视点位置调整单元231根据具有值0到1的可靠性执行图23中所示的虚拟视点位置的确定处理。如果可靠性的值为大，则可靠性高，以及如果可靠性的值为小，则可靠性低。

图23是示出了在可靠性=0至1的情形中虚拟视点图像位置的设置示例的图。视点位置=0是与输入L图像对应的视点位置，视点位置=1是与输入R图像对应的视点位置。

即，在可靠性=1的线上的图像241（图像b）对应于从左视点图像（L图像）输入单元101输入的输入L图像，图像242（图像h）对应于从右视点图像（R图像）输入单元102输入的输入R图像。

在可靠性=1的线上的其他竖直线示出了当可靠性为1时在虚拟视点图像生成单元202中生成的虚拟视点图像的位置（相位）。在该示例中，生成并输出包括输入LR图像的总共9个不同的视点图像a至i。

在可靠性=1的情形中，视点位置调整单元231确定在图23的上部的图像a至i为虚拟视点图像的设置位置，并且将虚拟视点位置信息输出至图像合成单元162。

根据以上参照图5至图7所述的处理执行虚拟视点图像的生成处理。

在可靠性=0.5即中间值的情况下，视点位置调整单元231确定在图23的中部处的图像243（图像a2至i2）为虚拟视点图像的设置位置，并且将虚拟视点位置信息输出至图像合成单元162。

在中间可靠性=0.5的情况下，如图23所示，虚拟视点图像a2至i2的视差范围变得比在可靠性=1的情况下的虚拟视点图像a至i的视差范围窄。

在可靠性=0的情形中，视点位置调整单元231确定在图23的下部的图像244（图像a3至i3）为虚拟视点图像的设置位置，并且将虚拟视点位置信息输出至图像合成单元162。

在图23的下部的图像a3至i3的图像位置对应于输入R图像的图像位置。即，在这种情况下，输入R图像被原样输出而不生成新的虚拟视点图像。虚拟视点图像生成单元202原样输出输入L图像，并且仅输入L图像输出至显示单元。

虚拟视点位置调整单元231根据以下算法执行虚拟视点图像的设置位置（相位）的计算处理。

预先确定在可靠性R=1的情形中生成的虚拟视点图像。例如，虚拟视点图像在图23中所示的位置a至i处的虚拟视点图像。所计算的可靠性被设置为R（0≤R≤1）。当原视点位置被设置为V0并且视点位置在可靠性R=0处收敛到右时，根据可靠性R设置的虚拟视点图像位置（相位）V由以下表达式6表示。

[表达式6]

V=(V0–1)·R+1

[插值方向的选择处理]

接下来，将参照图24描述视点位置调整单元231的插值方向的选择处理。在图24的示例中，水平轴示出了相位，竖直轴示出了可靠性R。在图24的示例中，将描述在可靠性R=0处位置收敛到右（1）的情形。

视点位置调整单元231根据可靠性选择插值方向。此时，如上所述，当可靠性大时，左图像和右图像的失配小。为此，当可靠性小于预定阈值时，视点位置调整单元231将右设置为临时插值方向。即，在这种情况下，视点位置调整单元231禁止将插值方向改变为左。

同时，在可靠性等于或大于预定阈值的情况下，视点位置调整单元231设置临时插值方向，以使得从近侧的图像执行插值。即，当视点相位为0.5或更小时，视点位置调整单元231将左设置为临时插值方向，当视点相位大于0.5时，视点位置调整单元231将右设置为临时插值方向。在这种情况下，视点位置调整单元231执行插值方向的改变（允许改变插值方向）。

由此，可以防止当左图像和右图像的失配较大时改变插值方向。

视点位置调整单元231类似于以上参照图11所述的视点位置调整单元161执行时间稳定处理。即，当临时插值方向在一段时间内为左时，视点位置调整单元231将插值方向设置为左，并且当临时插值方向在一段时间内为右时，视点位置调整单元231将插值方向设置为右。在其他情况下，视点位置调整单元231将与前一帧相同的方向设置为插值方向。

在起始帧的情况下，将临时插值方向（接近图像）设置为插值方向。

由此，可以抑制箭头C或D示出的插值方向发生频繁改变。即，可以抑制插值方向的高频时间变化以及在左眼和右眼两只眼的不同定时的变化。

在以上描述中，描述了在可靠性R=0处收敛的位置为右（1）的情形的示例。但是，在可靠性R=0处收敛的位置可以为左（0）。当在可靠性R=0处收敛的位置为左（0）并且可靠性小于预定阈值th时，将左设置为临时插值方向。

[图像处理装置的处理示例]

接下来，将参照图25的流程图描述图17的图像处理装置200的图像处理。图25的步骤S201、S202、S205和S206的处理与图14的步骤S101、S102、S104和S105的处理基本上相同。

在步骤S201中，左视点图像（L图像）输入单元101和右视点图像（R图像）输入单元102分别输入左视点图像（L图像）和右视点图像（R图像）。输入的左视点图像（L图像）和右视点图像（R图像）提供给视差估计单元103、可靠性计算单元201和虚拟视点图像生成单元202。

在步骤S202中，如上参照图3和图4所述，视差估计单元103使用所提供的左视点图像（L图像）和右视点图像（R图像）估计视差。视差估计单元103的估计结果的视差信息提供给可靠性计算单元201和虚拟视点图像生成单元202。

在步骤S203中，如上参照图18至21所述，可靠性计算单元201基于输入LR图像计算由视差估计单元103估计的每个像素单元或每个像素区域单元的视差信息的可靠性。可靠性计算单元201将计算的可靠性的信息提供给虚拟视点图像生成单元202。

在步骤S204和S205中，虚拟视点图像生成单元202执行虚拟视点图像生成处理。

即，在步骤S204中，视点位置调整单元231调整视点位置。下面参照图26描述视点位置调整处理。N视点的输出相位位置的信息和N视点的插值方向的信息通过步骤S204生成，并且提供给图像合成单元162。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息输入到图像合成单元162。

在步骤S205中，图像合成单元162基于输入信息对LR图像与调整的视点位置的图像进行合成。

即，如上参照图12和13所述，图像合成单元162的一视点图像合成单元171基于视差信息，使用输入L图像和输入R图像生成与输出相位位置对应的虚拟视点图像。一视点图像合成单元171选择使用与插值方向对应的方向（左或右）的图像生成的虚拟视点图像，并且将该虚拟视点图像作为合成图像输出至后面步骤的显示控制单元106。

在步骤S206中，显示控制单元106在显示单元110上显示N视点图像。

[视点位置调整处理的示例]

接下来，将参照图26的流程图描述图25的步骤S204中的视点位置调整处理的示例。在图26的示例中，当可靠性为0时，视点位置收敛到右。

在步骤S211中，视点位置调整单元231基于可靠性计算输出相位，如上参照图23所述。通过步骤S211的处理计算的输出相位位置输出至图像合成单元162。

在步骤S212中，视点位置调整单元231执行以上参照图24所述的插值方向的选择处理。将参照图27描述插值方向的选择处理。

在这种情况下，n示出了视点编号，N示出了视点的总数，Rt示出了可靠性，R_th示出了阈值（参数），t（0≤t≤T0）示出了时间（帧），T0示出了特定时间（参数），t0示出了min（T0,t）。此外，Vn,t示出了视点相位，Dn,t示出了插值方向，D’n,t示出了临时插值方向。

在步骤S221中，视点位置调整单元231用-1代替t。在步骤S222中，视点位置调整单元231确定是否所有场景结束。当确定所有场景结束时，视点位置调整单元231结束插值方向选择处理。

当在步骤S122中确定不是所有场景都结束时，处理进行到步骤S223。在步骤S223中，视点位置调整单元231用t+1代替t。在步骤S224中，视点位置调整单元231用0代替n。

在步骤S225中，视点位置调整单元231确定n是否等于或大于N。当确定n等于或大于N时，处理返回步骤S222并且重复随后的处理。

当在步骤S225中确定n小于N时，处理进行到步骤S226。在步骤S226中，视点位置调整单元231用n+1代替n。在步骤S227中，视点位置调整单元231确定Rt是否小于R_th。当在步骤S227中确定Rt等于或大于R_th时，处理进行到步骤S228。

在步骤S228中，视点位置调整单元231确定Vn,t是否等于或小于0.5。当确定Vn,t等于或小于0.5时，处理进行到步骤S229，且视点位置调整单元231用“左”代替D’n,t。即，在步骤S229中，将左设置为临时插值方向。

当在步骤S227中确定Rt小于R_th时，处理进行到步骤S230。当在步骤S228中确定Vn,t大于0.5时，处理进行到步骤S230。

在步骤S230中，视点位置调整单元231用“右”代替D’n,t。即，在步骤S230中，将右设置为临时插值方向。

在步骤S231中，视点位置调整单元231确定t是否为0。当确定t不为0时，处理进行到步骤S232。在步骤S232中，视点位置调整单元231用T0和t的较小的值代替t0。

在步骤S233中，视点位置调整单元231确定在s=t-t0到t中是否所有的D’n,s都为“左”。当在步骤S233中确定在s=t-t0到t中不是所有的D’n,s都为“左”时，处理进行到步骤S234。

在步骤S234中，视点位置调整单元231确定在s=t-t0到t中是否所有的D’n,s都为“右”。当在步骤S234中确定在s=t-t0到t中所有的D’n,s都为“右”时，处理进行到步骤S235。在步骤S235中，视点位置调整单元231用“右”代替Dn,t。即，在步骤S235中，将右设置为插值方向。

当在步骤S233中确定所有的D’n,s都为“左”时，处理进行到步骤S236。在步骤S236中，视点位置调整单元231用“左”代替Dn,t。即，在步骤S236中，将左设置为插值方向。

当在步骤S234中确定在s=t-t0到t中不是所有的D’n,s都为“右”时，处理进行到步骤S237。在步骤S237中，视点位置调整单元231用Dn,t-1代替Dn,t。即，在步骤S237中，将前一帧的插值方向设置为插值方向。

同时，当在步骤S231中确定t为0时，处理进行到步骤S238。在步骤S238中，视点位置调整单元231用D’n,t代替Dn,t。即，在步骤S238中，将临时插值方向设置为插值方向。

在图27的示例中，步骤S231之后的处理是时间稳定处理。

如上所述，由于插值方向根据可靠性设置，因此可以防止当左图像和右图像的失配大时插值方向的改变。

由于执行时间稳定处理，因此可以抑制插值方向的改变频繁产生。即，可以抑制插值方向的高频时间变化以及在左眼和右眼两只眼的不同定时的变化。

<4．第三实施例（运动视差）>

[图像处理装置的显示单元的配置示例]

图28是示出了本公开应用的图像处理装置的配置示例的图。

在图28的示例中，其显示由图像处理装置300控制的显示单元301使用多视点裸眼式3D显示器配置。

在这种情况下，如果用户关于显示单元301的观看位置从左移动到右，则视点改变并且必须根据位置提供不同的视点图像以使得视点改变体现为运动视差。

例如，如果从左（L图像）相对于显示单元301从左到中央位置执行插值，以及从右（R图像）相对于显示单元301从中央位置到右执行插值，则存在视点的插值方向改变的地方（例如，中央位置）。因此，在图28的示例的情形中，通过插值方向的改变误差变得明显。

同时，类似于图2的图像处理装置100，图像处理装置300基于从L图像和R图像的视差信息获得的视差分布调整视差量，并且执行虚拟视点位置的确定处理或视差方向的选择处理。

[图像处理装置的配置示例]

图29是示出了图28的图像处理装置的配置示例的框图。

在图29的示例中，图像处理装置300包括左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、虚拟视点图像生成单元311和显示控制单元106。图像处理装置300中生成的图像输出至显示单元301。

图29的图像处理装置300与图2的图像处理装置100的相同之处在于设置了左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103和显示控制单元106。但是，图29的图像处理装置300与图2的图像处理装置100的不同之处在于虚拟视点图像生成单元105由虚拟视点图像生成单元311取代以及显示单元110由显示单元301取代。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息提供到虚拟视点图像生成单元311。

虚拟视点图像生成单元311接收各个信息并且生成虚拟视点图像。在图2的虚拟视点图像生成单元105中，以上参照图11和16所述的插值方向的选择处理针对如下情形执行：其中，插值方向还由缩放值的时间改变（时间变化）在时间上改变。同时，在图29的虚拟视点图像生成单元311的情况下，针对如下情形执行以上参照图11和图16描述的插值方向的选择处理：其中，插值方向的时间改变不生成以及视点位置移动和插值方向改变。视点位置的移动是相对于时间变化的空间变化（位置变化）。

即，针对插值方向由空间变化（位置变化）改变的情形，虚拟视点图像生成单元311基于从来自视差估计单元103的视差信息获取的视差分布调整视差量，并且执行虚拟视点位置的确定处理或插值方向的选择处理。[虚拟视点图像生成单元的配置示例]

图30是示出了虚拟视点图像生成单元的配置示例的图。

在图30的示例中，虚拟视点图像生成单元311包括视点位置调整单元321和图像合成单元162。图30的虚拟视点图像生成单元311与图8的虚拟视点图像生成单元105的不同之处在于视点位置调整单元161由视点位置调整单元321代替。

即，视差信息从视差估计单元103提供给视点位置调整单元321。视点位置调整单元321基于来自视差估计单元103的视差信息调整视差量，并且确定虚拟视点位置（相位）和插值方向。此时，视点位置调整单元321与视点位置调整单元161的不同在于当缩放值为0时的收敛点可能不是右（左），如图31中所示。

即，视点位置调整单元根据以下算法执行虚拟视点图像的设置位置（相位）的计算处理。

预先确定在缩放值=1的情况下生成的虚拟视点图像。例如，虚拟视点图像是图31中所示的位置a至i处的虚拟视点图像。所计算的缩放值设置为S（0≤S）。当原始视点位置设置为V0并且在缩放值=0处视点位置收敛到中央时，根据缩放值设置的虚拟视点图像位置（相位）V通过以下表达式7表示。

[表达式7]

V=(V0–0.5)·S+1

即使在缩放值为0的情况下视点位置收敛到中央（0.5）时，如果观看显示单元301的用户的面部的位置移动，则插值方向也可以改变。因此，视点位置调整单元321根据缩放值选择插值方向，类似于以上参照图11所述的视点位置调整单元161。

此时，当缩放值（视差范围）小时，左图像和右图像的失配小。为此，当缩放值大于预定阈值时，视点位置调整单元321将右设置为临时插值方向。即，在这种情况下，视点位置调整单元321禁止将插值方向改变为左。

同时，在缩放值等于或小于预定阈值的情况下，视点位置调整单元321设置临时插值方向，以使得从近侧的图像执行插值。即，当视点相位为0.5或更小时，视点位置调整单元321将左设置为临时插值方向，当视点相位大于0.5时，视点位置调整单元321将右设置为临时插值方向。在这种情况下，视点位置调整单元321执行插值方向的改变（允许插值方向的改变）。

类似于视点位置调整单元161，视点位置调整单元321执行时间稳定处理。例如，当临时插值方向在一段时间内为左时，插值方向设置为左，并且当临时插值方向在一段时间内为右时，插值方向设置为右。在其他情况下，视点位置调整单元321将与前一帧相同的方向设置为插值方向。

由于图29的图像处理装置300的处理与以上参照图14至图16描述的图2的图像处理装置100的处理基本上相同，因此省略图像处理装置300的处理示例。

如上所述，在运动视差的情况下，可以防止当左图像和右图像的失配大时插值方向的改变。

<第四实施例（运动视差+面部检测）>

[图像处理装置的显示单元的示例]

图32是示出了本公开应用的图像处理装置的配置示例的图。

在图32的示例中，其显示由图像处理装置400控制的显示单元401使用多视点裸眼式3D显示器配置，类似于图28的显示单元301。

在显示单元401的外壳（屏幕侧）中，设置有估计用户的面部的位置的面部检测摄像装置402。面部检测摄像装置402的布置位置可以是屏幕的上侧。但是，布置位置不受限制。

在这种情况下，如果用户相对于显示单元401的观看位置从左移动到右，则视点改变并且必须根据位置提供不同的视点图像以使得视点改变体现为运动视差。

例如，如果从左（L图像）相对于显示单元401从左到中央位置执行插值，以及从右（R图像）相对于显示单元401从中央位置到右执行插值，则存在视点的插值方向改变的地方（例如，中央位置）。因此，在图32的示例的情形中，通过插值方向的改变误差变得明显。

同时，图像处理装置400基于从L图像和R图像的视差信息获得的视差分布调整视差量，并且执行虚拟视点位置的确定处理或视差方向的选择处理。此时，图像处理装置400根据从面部检测摄像装置402检测的面部的位置执行插值方向的选择处理。

在图32的示例中，设置了面部检测摄像装置402。但是，代替面部检测摄像装置，可以设置能够检测用户的面部的其他装置比如传感器。

[图像处理装置的配置示例]

图33是示出了图32的图像处理装置的配置示例的框图。

在图33的示例中，图像处理装置400包括左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、视点位置测量单元411、虚拟视点图像生成单元412和显示控制单元106。图像处理装置400中生成的图像输出至显示单元401。

图33的图像处理装置400与图2的图像处理装置100的相同之处在于设置了左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103和显示控制单元106。但是，图33的图像处理装置400与图2的图像处理装置100的不同之处在于另外设置了视点位置测量单元411以及虚拟视点图像生成单元105由虚拟视点图像生成单元412取代。另外，图33的图像处理装置400与图2的图像处理装置100的不同之处在于显示单元110由显示单元401取代。

即，视点位置测量单元411使用从面部检测摄像装置402输入的图像检测用户的面部的位置，并且基于检测的面部的位置估计输入到右眼的视点和输入到左眼的视点。视点位置测量单元411将估计的左视点位置信息和右视点位置信息提供给虚拟视点图像生成单元412。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息、以及来自视点位置测量单元411的视点位置信息输入到虚拟视点图像生成单元412。

虚拟视点图像生成单元412接收各个信息并且生成虚拟视点图像。在图2的虚拟视点图像生成单元105中，以上参照图11和16所述的插值方向的选择处理针对如下情形执行：其中，插值方向还由缩放值的时间改变（时间变化）在时间上改变。同时，在图33的虚拟视点图像生成单元412的情况下，执行与图29的虚拟视点图像生成单元311相同的插值方向计算处理。即，在图33的虚拟视点图像生成单元412中，针对如下情形执行以上参照图11和图16描述的插值方向的选择处理：其中，不生成插值方向的时间改变，以及视点位置移动和插值方向改变。视点位置的移动是相对于时间变化的空间变化（位置变化）。

因此，类似于图29的虚拟视点图像生成单元311，针对插值方向由空间变化（位置变化）改变的情形，虚拟视点图像生成单元412基于从来自视差估计单元103的视差信息获取的视差分布调整视差量，并且执行虚拟视点位置的确定处理或插值方向的选择处理。

此时，与图29的虚拟视点图像生成单元311不同，虚拟视点图像生成单元412使用来自视点位置测量单元411的左视点位置信息和右视点位置信息执行虚拟视点位置的确定处理和插值方向的选择处理。虚拟视点图像生成单元412将基于从视点位置测量单元411获取的左视点位置信息和右视点位置信息的两视点图像提供给显示控制单元106。

显示控制单元106将虚拟视点图像生成单元412生成的两视点图像输出至显示单元401。

[视点位置测量单元的操作]

接下来，将参照图34描述视点位置测量单元411的操作。视点位置测量单元411使用高速面部检测算法从自面部检测摄像装置402输入的图像中检测面部的位置。

例如，视点位置测量单元411检测从面部检测摄像装置402的中央位置到用户的左眼的位置的距离XI和从面部检测摄像装置402的中央位置到用户的右眼的位置的距离XR作为面部的位置。

例如，使用在P.Viola、M.Jones的“Rapid Object Detection Using aBoosted Cascade of Simple Features”,IEEE Conf.on CVPR2001或C.Huang等的“High-Performance Rotation Invariant Multiview FaceDetection”,IEEE PAMI2007中描述的面部检测算法。但是，本公开不限于这些面部检测算法。

接下来，视点位置测量单元411根据检测的面部的尺寸估计距离Y，并且根据面部的位置XI和XR以及距离Y估计输入到右眼和左眼的视点。视点位置测量单元411将估计的左视点位置信息和右视点位置信息提供给虚拟视点图像生成单元412。

[虚拟视点图像生成单元的配置]

图35是示出了虚拟视点图像生成单元412的配置示例的图。

在图35的示例中，虚拟视点图像生成单元412包括视点位置调整单元421和图像合成单元162。图35的虚拟视点图像生成单元412与图8的虚拟视点图像生成单元105的不同之处在于视点位置调整单元161由视点位置调整单元421代替。

左视点位置信息和右视点位置信息从视点位置测量单元411提供给视点位置调整单元421。视点位置调整单元421基于来自视点位置测量单元411的左视点位置信息和右视点位置信息确定虚拟视点位置（相位）和插值方向。

即，视点位置调整单元421将从视点位置测量单元411获取的两个视点确定为输出视点位置。视点位置调整单元421根据视点相位设置临时插值方向，根据面部的位置的移动执行时间稳定处理，并且确定插值方向。

具体地，当面部的位置的移动小于预定阈值时，选择与前一帧相同的插值方向。即，在这种情况下，禁止插值方向的改变。当面部的位置的移动大于预定阈值时，允许插值方向的改变。在这种情况下，当执行时间稳定处理、临时插值方向为左并且左持续一段时间时，将左设置为插值方向。当临时插值方向为右并且右持续一段时间时，将右设置为插值方向。在其他情形中，设置与前一帧相同的插值方向。

视点位置调整单元421将所确定的两个视点的虚拟视点位置的信息和所确定的插值方向的信息提供给图像合成单元162。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息（右）、以及来自视点位置调整单元421的两个视点的虚拟视点位置和插值方向的信息输入到图像合成单元162。

图像合成单元162基于输入信息合成LR图像与调整的两个视点位置的图像，并且将合成图像输出到后面的步骤的显示控制单元106。

[图像处理装置的处理示例]

接下来，将参照图36的流程图描述图33的图像处理装置400的图像处理。图36的步骤S401和S402的处理与图14的步骤S101和S102的处理基本上相同。

在步骤S401中，左视点图像（L图像）输入单元101和右视点图像（R图像）输入单元102分别输入左视点图像（L图像）和右视点图像（R图像）。输入的左视点图像（L图像）和右视点图像（R图像）提供给视差估计单元103和虚拟视点图像生成单元412。

在步骤S402中，如上参照图3和图4所述，视差估计单元103使用所提供的左视点图像（L图像）和右视点图像（R图像）估计视差。视差估计单元103的估计结果的视差信息提供给虚拟视点图像生成单元412。

在步骤S403中，视点位置测量单元411使用从面部检测摄像装置402输入的图像测量视点位置。即，如上参照图34所述，视点位置测量单元411使用从面部检测摄像装置402输入的图像检测用户的面部的位置，并且基于检测的面部的位置估计输入到右眼的视点和输入到左眼的视点。视点位置测量单元411将估计的左视点位置信息和右视点位置信息提供给虚拟视点图像生成单元412。

在步骤S404和S405中，虚拟视点图像生成单元412执行虚拟视点图像生成处理。

即，在步骤S404中，视点位置调整单元421调整视点位置。下面参照图37描述视点位置调整处理。两个视点的输出相位位置的信息和两个视点的插值方向的信息通过步骤S404生成，并且提供给图像合成单元162。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息输入到图像合成单元162。

在步骤S405中，图像合成单元162基于输入信息对LR图像与调整的两个视点位置的图像进行合成。

即，如上参照图12和13所述，图像合成单元162的一视点图像合成单元171-1和171-2基于视差信息，使用输入L图像和输入R图像生成与输出相位位置对应的虚拟视点图像。一视点图像合成单元171-1和171-2选择使用与插值方向对应的方向（左或右）的图像生成的虚拟视点图像，并且将该虚拟视点图像作为两个视点的合成图像输出至后面步骤的显示控制单元106。

在步骤S406中，显示控制单元106在显示单元401上显示两视点图像。

[视点位置调整处理的示例]

接下来，将参照图37的流程图描述图36的步骤S404中的视点位置调整处理的示例。

在步骤S411中，视点位置调整单元421基于来自视点位置测量单元411的视点位置信息，将视点位置测量单元411测量的两个视点设置为输出相位。通过步骤S411的处理设置的两个视点的输出相位位置输出至图像合成单元162。

在步骤S412中，视点位置调整单元421基于来自视点位置测量单元411的视点位置信息，执行插值方向的选择处理。将参照图38的流程图描述插值方向的选择处理。

在这种情况下，n示出了视点编号，Pn,t示出了眼睛的位置，P_th示出了阈值（参数），t（0≤t<T0）示出了时间（帧），T0示出了特定时间（参数），以及t0示出了min（T0,t）。另外，Vn,t示出了视点相位，Dn,t示出了插值方向，D’n,t示出了临时插值方向。

在步骤S421中，视点位置调整单元421用-1代替t。在步骤S422中，视点位置调整单元421确定是否所有场景结束。当确定所有场景结束时，视点位置调整单元421结束插值方向选择处理。

当在步骤S422中确定不是所有场景都结束时，处理进行到步骤S423。在步骤S423中，视点位置调整单元421用t+1代替t。在步骤S424中，视点位置调整单元421用0代替n。

在步骤S425中，视点位置调整单元421确定n是否等于或大于2。当确定n等于或大于2时，处理返回步骤S422并且重复随后的处理。在这种情况下，2是视点的数量。

当在步骤S425中确定n小于2时，处理进行到步骤S426。在步骤S426中，视点位置调整单元421用n+1代替n。

在步骤S427中，视点位置调整单元421确定Vn,t是否等于或小于0.5。当确定Vn,t等于或小于0.5时，处理进行到步骤S428，且视点位置调整单元421用“左”代替D’n,t。即，在步骤S428中，将左设置为临时插值方向。

当在步骤S427中确定Vn,t大于0.5时，处理进行到步骤S429。在步骤S429中，视点位置调整单元421用“右”代替D’n,t。即，在步骤S429中，将右设置为临时插值方向。

在步骤S430中，视点位置调整单元421确定t是否为0。当确定t不为0时，处理进行到步骤S431。在步骤S431中，视点位置调整单元421基于来自视点位置测量单元411的视点位置信息确定眼的位置是否有较大移动。

当在步骤S431中确定眼的位置没有较大移动时，处理进行到步骤S432。在步骤S432中，视点位置调整单元421用T0和t的较小值代替t0。

在步骤S433中，视点位置调整单元421确定在s=t-t0到t中是否所有的D’n,s都为“左”。当在步骤S433中确定在s=t-t0到t中不是所有的D’n,s都为“左”时，处理进行到步骤S434。

在步骤S434中，视点位置调整单元421确定在s=t-t0到t中是否所有的D’n,s都为“右”。当在步骤S434中确定在s=t-t0到t中所有的D’n,s都为“右”时，处理进行到步骤S435。在步骤S435中，视点位置调整单元421用“右”代替Dn,t。即，在步骤S435中，将右设置为插值方向。

当在步骤S433中确定所有的D’n,s都为“左”时，处理进行到步骤S436。在步骤S436中，视点位置调整单元421用“左”代替Dn,t。即，在步骤S436中，将左设置为插值方向。

当在步骤S434中确定在s=t-t0到t中不是所有的D’n,s都为“右”时，处理进行到步骤S437。当在步骤S431中确定眼的位置有较大移动时，处理进行到步骤S437。在步骤S437中，视点位置调整单元421用Dn,t-1代替Dn,t。即，在步骤S437中，将前一帧的插值方向设置为插值方向。

同时，当在步骤S430中确定t为0时，处理进行到步骤S438。在步骤S438中，视点位置调整单元421用D’n,t代替Dn,t。即，在步骤S438中，将临时插值方向设置为插值方向。

在图38的示例中，步骤S430之后的处理是时间稳定处理。

如上所述，由于插值方向根据检测的面部的位置来设置，因此可以防止当左图像和右图像的失配大时插值方向的改变。

因为执行了时间稳定处理，因此可以抑制插值方向的改变频繁产生。即，可以抑制插值方向的高频时间变化以及在左眼和右眼两只眼的不同定时的变化。

已经描述了观看显示单元401的用户的数量为1的情形的示例。在该情况下，如上所述只有输入到左眼和右眼的两个视点的图像可以被合成。同时，当多个用户观看显示单元401时，针对多个用户的每一个执行与在两个视点的情形中的处理相同的处理。当视点位置重叠时，可以给予较早地观看显示单元的人、之前已经观看显示单元的人或者接近屏幕的中心的人以优先权。

<6．第五实施例（头戴式显示器）>

[图像处理装置的显示单元的示例]

图39是示出了本公开应用的图像处理装置的图。

在图39A中，示出了其显示由根据现有技术的图像处理装置控制的显示单元12。在图39B中，示出了其显示由本公开应用的图像处理装置500控制的显示单元501。

显示单元12和501的每一个使用头戴式显示器配置并且安放到用户的头上。

如图39A中所示，即使用户将显示单元12安放到头上并且平行移动或旋转，在根据现有技术的图像处理装置处理的输出视点上也没有任何改变，并且显示在显示单元12上的左视点图像a1和右视点图像b1相同。

同时，如图39B中所示，如果用户将显示单元501安放到头上并且平行移动或旋转，则视点改变并且视点改变可以体现为运动视差，与图32的示例的情形类似。为此，在图像处理装置500中需要提供根据位置的不同视点图像。

例如，当用户转向左时，如果从左（L图像）执行插值，则左视点图像a1和右视点图像b1显示在显示单元501上。当用户转向右时，如果从右（R图像）执行插值，则左视点图像a2和右视点图像b2显示在显示单元501上。

在这种情况下，与图32的情形类似，存在视点的插值方向改变以及通过插值方向的改变误差变得明显的地方（中央位置）。

同时，图像处理装置500基于从L图像和R图像的视差信息获取的视差分布调整视差量，并且执行虚拟视点位置的确定处理或插值方向的选择处理。此时，图像处理装置500根据从以下要参照图33描述的视点位置测量单元511检测的视点位置（用户的面部的位置和方向）执行插值方向的选择处理。

[图像处理装置的配置示例]

图40是示出了图39的图像处理装置500的配置示例的框图。

在图40的示例中，图像处理装置500包括左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、视点位置测量单元511、虚拟视点图像生成单元412和显示控制单元106。图像处理装置500中生成的图像输出至显示单元501。

图40的图像处理装置500与图33的图像处理装置400的相同之处在于设置了左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、显示控制单元106和虚拟视点图像生成单元412。但是，图40的图像处理装置500与图33的图像处理装置400的不同之处在于视点位置测量单元411由视点位置测量单元511取代。另外，图40的图像处理装置500与图33的图像处理装置400的不同之处在于显示单元401由显示单元501取代。

即，视点位置测量单元511使用位置（加速度）传感器配置。视点位置测量单元511检测用户的运动（用户的面部的位置和方向）并且基于所检测的运动估计输入到右眼的视点和输入到左眼的视点。视点位置测量单元511将估计的左视点位置信息和右视点位置信息提供给虚拟视点图像生成单元412。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息、以及来自视点位置测量单元511的视点位置信息输入到虚拟视点图像生成单元412。

虚拟视点图像生成单元412接收各个信息并且生成虚拟视点图像。如上参照图33所述，针对插值方向由于视点位置的移动而改变的情形，虚拟视点图像生成单元412基于从来自视差估计单元103的视差信息获取的视差分布调整视差量，并且执行虚拟视点位置的确定处理或插值方向的选择处理。

此时，虚拟视点图像生成单元412使用来自视点位置测量单元511的左视点位置信息和右视点位置信息执行虚拟视点位置的确定处理或插值方向的选择处理。虚拟视点图像生成单元412将基于从视点位置测量单元511获取的左视点位置信息和右视点位置信息的两视点图像提供给显示控制单元106。

显示控制单元106将虚拟视点图像生成单元412生成的两视点图像输出至显示单元501。

由于图40的图像处理装置500的处理与以上参照图36至38描述的图33的图像处理装置400的处理基本上相同，因此省略图像处理装置500的处理的示例。

如上所述，在头戴式显示器中的运动视差的情况下，可以防止在左图像和右图像的失配大时插值方向的改变。

已经描述了实时处理的示例。但是，本公开可以应用于以下要描述的离线处理。

<7．第六实施例（离线处理）>

[图像处理装置的配置示例]

图41是示出了本公开应用的图像处理装置的配置示例的框图。

在图41的示例中，图像处理装置600包括左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、场景改变检测单元601、虚拟视点图像生成单元602和显示控制单元106。图像处理装置600中生成的图像输出至显示单元110。

图41的图像处理装置600与图2的图像处理装置100的相同之处在于设置了左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103和显示控制单元106。但是，图41的图像处理装置600与图2的图像处理装置100的不同之处在于另外设置了场景改变检测单元601，以及虚拟视点图像生成单元105由虚拟视点图像生成单元602取代。

即，来自左视点图像（L图像）输入单元101的L图像提供给场景改变检测单元601。

场景改变检测单元601使用来自左视点图像（L图像）输入单元101的L图像检测场景是否改变，并且将检测的场景改变的信息提供给虚拟视点图像生成单元602。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息、以及来自场景改变检测单元601的场景改变的信息提供给虚拟视点图像生成单元602。

时间码从左视点图像（L图像）输入单元101提供给虚拟视点图像生成单元602。

虚拟视点图像生成单元602执行场景的分析处理。虚拟视点图像生成单元602使用来自场景改变检测单元601的场景改变信息和来自视差估计单元103的视差信息测量针对每个场景的视差范围并且记录该视差范围。

虚拟视点图像生成单元602基于从输入信息计算的视差分布（视差范围）调整视差量，即确定生成的虚拟视点位置（相位）。虚拟视点图像生成单元602在场景改变时根据针对各个场景的缩放值使用记录的针对各个场景的视差范围的信息执行插值方向的选择处理。

虚拟视点图像生成单元602基于所选择的插值方向的图像生成与所确定的虚拟视点位置（相位）对应的虚拟视点图像。虚拟视点图像生成单元602合成所生成的虚拟视点图像、即调整的视点位置的图像，并且将合成图像输出至后面的步骤的显示控制单元106。

[场景改变检测单元的处理]

将参照图42描述场景改变检测单元601的处理。

场景改变检测单元601将画面划分为多个区域（在图42的示例的情形中为9个区域）。

场景改变检测单元601针对每个区域计算每个像素的亮度的时间改变量（≥0），并且将时间改变量的总值设置为Dm[m=1,…,9]。在图42的示例的情形中，在时间t-1处的A1区域中和在时间t处的A1区域中，计算每个像素的亮度的时间改变量的总值D1。在时间t-1处的A2区域中和在时间t处的A2区域中，计算每个像素的亮度的时间改变量的总值D2。在时间t-1处的A3区域中和在时间t处的A3区域中，计算每个像素的亮度的时间改变量的总值D3。

在时间t-1处的A4区域中和在时间t处的A4区域中，计算每个像素的亮度的时间改变量的总值D4。在时间t-1处的A5区域中和在时间t处的A5区域中，计算每个像素的亮度的时间改变量的总值D5。在时间t-1处的A6区域中和在时间t处的A6区域中，计算每个像素的亮度的时间改变量的总值D6。

在时间t-1处的A7区域中和在时间t处的A7区域中，计算每个像素的亮度的时间改变量的总值D7。在时间t-1处的A8区域中和在时间t处的A8区域中，计算每个像素的亮度的时间改变量的总值D8。在时间t-1处的A9区域中和在时间t处的A9区域中，计算每个像素的亮度的时间改变量的总值D9。

场景改变检测单元601计算满足Dm<D_th（阈值）的区域的数量M。在M>M_th（阈值）的情况下，场景改变检测单元601确定发生了场景改变，以及在其他情况下，场景改变检测单元601确定没有发生场景改变。

当发生场景改变时，场景改变检测单元601将场景的编号以及场景的时间码作为场景改变信息提供给虚拟视点图像生成单元602。

[虚拟视点图像生成单元的配置]

图43是示出了执行场景的分析处理的虚拟视点图像生成单元602的配置示例的图。

在图43的示例中，执行场景的分析处理的虚拟视点图像生成单元602包括视点位置调整单元611和存储器612。

来自场景改变检测单元601的场景改变信息、来自左视点图像（L图像）输入单元101的时间码和来自视差估计单元103的视差信息提供给视点位置调整单元611。

视点位置调整单元611使用提供的信息计算每个场景的缩放值的最大值，并且将每个场景的缩放值的最大值、场景的时间码和最大场景编号记录在存储器612中。

存储器612记录每个场景的缩放值的最大值、场景的时间码和场景编号的最大值。

图44是示出了执行插值方向的选择处理和图像合成处理的虚拟视点图像生成单元602的配置示例的图。

在图44的示例中，执行插值方向的选择处理和图像合成处理的虚拟视点图像生成单元602包括视点位置调整单元611、存储器612和图像合成单元621。

来自左视点图像（L图像）输入单元101的时间码和来自视差估计单元103的视差信息提供给视点位置调整单元611。

视点位置调整单元611基于来自视差估计单元103的视差信息调整视差量并且确定虚拟视点位置（相位）。视点位置调整单元611根据记录在存储器612中的每个场景的缩放值的最大值、场景的时间码和场景编号的最大值选择插值方向。

视点位置调整单元611将确定的虚拟视点位置的信息和插值方向的信息提供给图像合成单元621。

图像合成单元621与图8的图像合成单元162具有基本上相同的配置。来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息、以及来自视点位置调整单元611的虚拟视点位置的信息和插值方向的信息输入到图像合成单元621。

图像合成单元621基于输入信息将LR图像与调整的视点位置的图像进行合成，并且将合成图像输出至后面步骤的显示控制单元106。

[图像处理装置的处理示例]

接下来，将参照图45的流程图描述图41的图像处理装置600的图像处理。图45的步骤S601、S602、S606和S607的处理与图14的步骤S101、S102、S104和S105的处理基本上相同。

在步骤S601中，左视点图像（L图像）输入单元101和右视点图像（R图像）输入单元102分别输入左视点图像（L图像）和右视点图像（R图像）。

输入的左视点图像（L图像）和右视点图像（R图像）提供给视差估计单元103和虚拟视点图像生成单元602。

在步骤S602中，如上参照图3和图4所述，视差估计单元103使用所提供的左视点图像（L图像）和右视点图像（R图像）估计视差。视差估计单元103的估计结果的视差信息提供给虚拟视点图像生成单元602。

在步骤S603中，如上参照图42所述，场景改变检测单元601检测场景改变。当发生场景改变时，场景改变检测单元601将场景编号和场景的时间码作为场景改变信息提供给虚拟视点图像生成单元602。

在步骤S604、S605和S606中，虚拟视点图像生成单元602执行虚拟视点图像生成处理。

即，在步骤S604中，视点位置调整单元611执行场景分析处理。下面参照图46描述场景分析处理。场景通过步骤S604的处理进行分析，并且每个场景的缩放值的最大值、场景的时间码和场景编号的最大值存储在存储器612中。

在步骤S605中，视点位置调整单元611调整视点位置。N视点的输出相位位置的信息和N视点的插值方向的信息通过视点位置的调整处理生成，并且提供给图像合成单元621。

由于除了步骤S115中的插值方向选择处理之外，视点位置调整处理与以上参照图15所述的处理基本上相同，因此省略其说明。以下将参照图47描述不同的插值方向选择处理。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息输入到图像合成单元621。

在步骤S606中，图像合成单元621基于输入信息对LR图像与调整的视点位置的图像进行合成，并且将合成的N视点图像提供给显示控制单元106。

在步骤S607中，显示控制单元106在显示单元110上显示N视点图像。

[场景分析处理的示例]

接下来，将参照图46的流程图描述图45的步骤S604中的场景分析处理的示例。

在这种情况下，sceneChange示出了场景改变信息，sceneNo示出了场景编号（初始值0），S_max[s]示出了场景s的缩放值的最大值，St示出了缩放值。另外，time_code示出了时间码，time[s]示出了场景s的时间码，scene_max示出了场景编号的最大值。

在步骤S621中，视点位置调整单元611用0代替sceneNo。在步骤S622中，视点位置调整单元611用-1代替t。

在步骤S623中，视点位置调整单元611确定sceneNo是否变为scene_max，即判断是否所有场景结束。当确定所有场景结束时，视点位置调整单元611结束场景分析处理。

在步骤S623中，当确定不是所有场景都结束时，处理进行到步骤S624。在步骤S624中，视点位置调整单元611用t+1代替t。在步骤S625中，视点位置调整单元611通过参照来自场景改变检测单元601的场景改变信息sceneChange来确定是否发生了场景改变。

在步骤S625中，当确定发生了场景改变时，处理进行到步骤S626。在步骤S626中，视点位置调整单元611用sceneNo+1代替sceneNo。在步骤S627中，视点位置调整单元611用t代替time[sceneNo]并且处理进行到步骤S629。

同时，当在步骤S625中确定没有发生场景改变时，处理进行到步骤S628。在步骤S628中，视点位置调整单元611确定S_max[sceneNo]是否小于St。当确定S_max[sceneNo]小于St时，处理进行到步骤S629。

在步骤S629中，视点位置调整单元611用St代替S_max[sceneNo]。处理返回到步骤S623的处理，并且重复后面的处理。

当在步骤S628中确定S_max[sceneNo]不小于St时，跳过步骤S629的处理，处理返回到步骤S623，并且重复后面的处理。

通过以上处理，作为场景s的缩放值的最大值的S_max[s]、作为场景s的时间码的time[s]以及作为场景编号的最大值的scene_max由视点位置调整单元611存储在存储器612中。

[插值方向选择处理的示例]

接下来，将参照图47的流程图描述插值方向的选择处理。该处理是图45的步骤S605的视点位置调整处理的插值方向选择处理（即，图15的步骤S115中的插值方向选择处理）。

在这种情况下，n示出了视点编号，N示出了视点的总数，sceneChange示出了场景改变信息，sceneNo示出了场景编号（初始值0），S_max[s]示出了场景s的缩放值的最大值，S_th示出了阈值（参数）。另外，Vn,t示出了视点相位，Dn,t示出了插值方向，time_code示出了时间码，time[s]示出了场景s的时间码，以及scene_max示出了场景编号的最大值。

在插值方向的选择处理中，使用由场景分析处理存储在存储器612中的作为场景s的缩放值的最大值的S_max[s]、作为场景s的时间码的time[s]以及作为场景编号的最大值的scene_max。即，由于存储了场景s的时间码，因此，当执行图47的处理时不需要检测场景改变。

在步骤S641中，视点位置调整单元611用-1代替t。在步骤S642中，视点位置调整单元611确定sceneNo是否变为scene_max，即是否所有场景结束。当确定所有场景结束时，视点位置调整单元611结束插值方向选择处理。

当在步骤S642中确定不是所有场景都结束时，处理进行到步骤S643。在步骤S643中，视点位置调整单元611用t+1代替t。在步骤S644中，视点位置调整单元611用0代替n。

在步骤S645中，视点位置调整单元611确定n是否等于或大于N。当确定n等于或大于N时，处理返回步骤S642并且重复随后的处理。

当在步骤S645中确定n小于N时，处理进行到步骤S646。在步骤S646中，视点位置调整单元611用n+1代替n。在步骤S647中，视点位置调整单元611用时间t处的场景编号代替sceneNo。在步骤S648中，视点位置调整单元611确定S_max[sceneNo]是否大于S_th。

当在步骤S648中确定S_max[sceneNo]等于或小于S_th时，处理进行到步骤S649。

在步骤S649中，视点位置调整单元611确定Vn,t是否等于或小于0.5。当确定Vn,t等于或小于0.5时，处理进行到步骤S650，且视点位置调整单元611用“左”代替Dn,t。即，在步骤S650中，将左设置为插值方向。然后，处理返回步骤S645并且重复随后的处理。

当在步骤S648中确定S_max[sceneNo]大于S_th时，处理进行到步骤S651。当在步骤S649中确定Vn,t大于0.5时，处理进行到步骤S651。

在步骤S651中，视点位置调整单元611用“右”代替Dn,t。即，在步骤S651中，将右设置为插值方向。然后，处理返回步骤S645并且重复随后的处理。

如上所述，仅当检测到场景改变时确定缩放值的最大值是否大于阈值。当缩放值的最大值大于阈值时，禁止插值方向的改变。当缩放值的最大值等于或小于阈值时，允许插值方向的改变。

即，如果缩放值的最大值大于阈值，则意味着左图像和右图像的失配可能马上被察觉到。因此，如上所述，当缩放值的最大值大于阈值时，禁止插值方向的改变并且在整个场景上仅从右执行插值。结果，可以抑制场景中左图像和右图像的失配。

在图41的示例中，已经描述了图像处理装置600作为图2的图像处理装置100和场景改变检测单元601的组合的示例。组合示例不限于此。即，场景改变检测单元601可以与图17的图像处理装置200、图29的图像处理装置300、图33的图像处理装置400和图40的图像处理装置500组合。例如，下面将描述图41的场景改变检测单元601与图17的图像处理装置200组合的情形的配置。

[图像处理装置的配置示例]

图48是示出了本公开应用的图像处理装置的另一个配置示例的框图。

在图48的示例中，图像处理装置700包括左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、可靠性计算单元201、场景改变检测单元601、虚拟视点图像生成单元602和显示控制单元106。图像处理装置700中生成的图像输出至显示单元110。

图48的图像处理装置700与图41的图像处理装置600的相同之处在于设置了左视点图像（L图像）输入单元101、右视点图像（R图像）输入单元102、视差估计单元103、场景改变检测单元601、虚拟视点图像生成单元602和显示控制单元106。但是，图48的图像处理装置700与图41的图像处理装置600的不同之处在于另外设置了图17的可靠性计算单元201。

即，来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、来自视差估计单元103的视差信息以及来自可靠性计算单元201的可靠性信息提供给虚拟视点图像生成单元602。另外，来自场景改变检测单元601的场景改变的信息和来自左视点图像（L图像）输入单元101的时间码提供给虚拟视点图像生成单元602。

虚拟视点图像生成单元602执行场景的分析处理。虚拟视点图像生成单元602使用来自场景改变检测单元601的场景改变信息和来自可靠性计算单元201的可靠性信息测量针对每个场景的视差范围并且记录该视差范围。

虚拟视点图像生成单元602基于来自可靠性计算单元201的可靠性信息调整视差量，即确定生成的虚拟视点位置（相位），并且使用记录的针对各个场景的视差范围的信息根据各个场景的可靠性执行插值方向的选择处理。

虚拟视点图像生成单元602基于所选择的插值方向的图像生成与所确定的虚拟视点位置（相位）对应的虚拟视点图像。虚拟视点图像生成单元602合成所生成的虚拟视点图像、即调整的视点位置的图像，并且将合成图像输出至后面的步骤的显示控制单元106。

[图像处理装置的处理示例]

接下来，将参照图49的流程图描述图48的图像处理装置700的图像处理。图49的步骤S701、S702、S704、S707和S708的处理与图45的步骤S601、S602、S603、S606和S607的处理基本上相同。图49的步骤S703的处理与图25的步骤S203的处理基本上相同。

在步骤S701中，左视点图像（L图像）输入单元101和右视点图像（R图像）输入单元102分别输入左视点图像（L图像）和右视点图像（R图像）。

输入的左视点图像（L图像）和右视点图像（R图像）提供给视差估计单元103和虚拟视点图像生成单元602。

在步骤S702中，如上参照图3和图4所述，视差估计单元103使用所提供的左视点图像（L图像）和右视点图像（R图像）估计视差。视差估计单元103的估计结果的视差信息提供给虚拟视点图像生成单元602。

在步骤S703中，如上参照图18至21所述，可靠性计算单元201基于输入LR图像计算由视差估计单元103估计的每个像素单元或每个像素区域单元的视差信息的可靠性。可靠性计算单元201将计算的可靠性的信息提供给虚拟视点图像生成单元602。

在步骤S704中，如上参照图42所述，场景改变检测单元601检测场景改变。当发生场景改变时，场景改变检测单元601将场景编号和场景的时间码作为场景改变信息提供给虚拟视点图像生成单元602。

在步骤S705、S706和S707中，虚拟视点图像生成单元602执行虚拟视点图像生成处理。

即，在步骤S705中，视点位置调整单元611执行场景分析处理。下面参照图50描述场景分析处理。场景通过步骤S705的处理进行分析，并且每个场景的可靠性的最小值、场景的时间码和场景编号的最大值存储在存储器612中。

在步骤S706中，视点位置调整单元611调整视点位置。N视点的输出相位位置的信息和N视点的插值方向的信息通过视点位置的调整处理生成，并且提供给图像合成单元621。

由于除了步骤S212中的插值方向选择处理之外，视点位置调整处理与以上参照图26所述的处理基本上相同，因此省略其说明。以下将参照图51描述不同的插值方向选择处理。

来自左视点图像（L图像）输入单元101的L图像、来自右视点图像（R图像）输入单元102的R图像、以及来自视差估计单元103的视差信息输入到图像合成单元621。

在步骤S707中，图像合成单元621基于输入信息对LR图像与调整的视点位置的图像进行合成，并且将合成的N视点图像提供给显示控制单元106。

在步骤S708中，显示控制单元106在显示单元110上显示N视点图像。

[场景分析处理的示例]

接下来，将参照图50的流程图描述图49的步骤S705中的场景分析处理的示例。

在这种情况下，sceneChange示出了场景改变信息，sceneNo示出了场景编号（初始值0），R_min[s]示出了场景s的可靠性的最小值，Rt示出了可靠性。另外，time_code示出了时间码，time[s]示出了场景s的时间码，scene_max示出了场景编号的最大值。

在步骤S721中，视点位置调整单元611用0代替sceneNo。在步骤S722中，视点位置调整单元611用-1代替t。

在步骤S723中，视点位置调整单元611确定sceneNo是否变为scene_max，即判断是否所有场景结束。当确定所有场景结束时，视点位置调整单元611结束场景分析处理。

在步骤S723中，当确定不是所有场景都结束时，处理进行到步骤S724。在步骤S724中，视点位置调整单元611用t+1代替t。在步骤S725中，视点位置调整单元611通过参照来自场景改变检测单元601的场景改变信息sceneChange来确定是否发生了场景改变。

在步骤S725中，当确定发生了场景改变时，处理进行到步骤S726。在步骤S726中，视点位置调整单元611用sceneNo+1代替sceneNo。在步骤S727中，视点位置调整单元611用t代替time[sceneNo]并且处理进行到步骤S729。

同时，当在步骤S725中确定没有发生场景改变时，处理进行到步骤S728。在步骤S728中，视点位置调整单元611确定R_min[sceneNo]是否大于Rt。当确定R_min[sceneNo]大于Rt时，处理进行到步骤S729。

在步骤S729中，视点位置调整单元611用Rt代替R_min[sceneNo]。处理返回到步骤S723的处理，并且重复后面的处理。

当在步骤S728中确定R_min[sceneNo]不大于Rt时，跳过步骤S729的处理，处理返回到步骤S723，并且重复后面的处理。

通过以上处理，作为场景s的可靠性的最小值的R_min[s]、作为场景s的时间码的time[s]以及作为场景编号的最大值的scene_max由视点位置调整单元611存储在存储器612中。

[插值方向选择处理的示例]

接下来，将参照图51的流程图描述插值方向的选择处理。该处理是图49的步骤S706的视点位置调整处理的插值方向选择处理（即，图26的步骤S212中的插值方向选择处理）。

在这种情况下，n示出了视点编号，N示出了视点的总数，sceneChange示出了场景改变信号，sceneNo示出了场景编号（初始值0），R_min[s]示出了场景s的可靠性的最小值，R_th示出了阈值（参数）。另外，Vn,t示出了视点相位，Dn,t示出了插值方向，time_code示出了时间码，time[s]示出了场景s的时间码，以及scene_max示出了场景编号的最大值。

在插值方向的选择处理中，使用由场景分析处理存储在存储器612中的作为场景s的可靠性的最小值的R_min[s]、作为场景s的时间码的time[s]以及作为场景编号的最大值的scene_max。即，由于存储了场景s的时间码，因此，当执行图51的处理时不需要检测场景改变。

在步骤S741中，视点位置调整单元611用-1代替t。在步骤S742中，视点位置调整单元611确定sceneNo是否变为scene_max，即是否所有场景结束。当确定所有场景结束时，视点位置调整单元611结束插值方向选择处理。

当在步骤S742中确定不是所有场景都结束时，处理进行到步骤S743。在步骤S743中，视点位置调整单元611用t+1代替t。在步骤S744中，视点位置调整单元611用0代替n。

在步骤S745中，视点位置调整单元611确定n是否等于或大于N。当确定n等于或大于N时，处理返回步骤S742并且重复随后的处理。

当在步骤S745中确定n小于N时，处理进行到步骤S746。在步骤S746中，视点位置调整单元611用n+1代替n。在步骤S747中，视点位置调整单元611用时间t处的场景编号代替sceneNo。在步骤S748中，视点位置调整单元611确定R_min[sceneNo]是否小于R_th。

当在步骤S748中确定R_min[sceneNo]等于或大于R_th时，处理进行到步骤S749。

在步骤S749中，视点位置调整单元611确定Vn,t是否等于或小于0.5。当确定Vn,t等于或小于0.5时，处理进行到步骤S750，且视点位置调整单元611用“左”代替Dn,t。即，在步骤S750中，将左设置为插值方向。然后，处理返回步骤S745并且重复随后的处理。

当在步骤S748中确定R_min[sceneNo]小于R_th时，处理进行到步骤S751。当在步骤S749中确定Vn,t大于0.5时，处理进行到步骤S751。

在步骤S751中，视点位置调整单元611用“右”代替Dn,t。即，在步骤S751中，将右设置为插值方向。然后，处理返回步骤S745并且重复随后的处理。

如上所述，仅当检测到场景改变时确定可靠性的最小值是否小于阈值。当可靠性的最小值小于阈值时，禁止插值方向的改变。当可靠性的最小值等于或大于阈值时，允许插值方向的改变。

即，如果可靠性的最小值小于阈值，则意味着左图像和右图像的失配可能马上被察觉到。因此，如上所述，当可靠性的最小值小于阈值时，禁止插值方向的改变并且在整个场景上仅从右执行插值。结果，可以抑制场景中左图像和右图像的失配。

在以上描述中，仅从右执行插值。但是，可以仅从左执行插值。当收敛的位置为左（0）时，缩放值大于预定阈值th_s，或者可靠性小于预定阈值th_r，将左设置为临时插值方向。

如上所述，如果插值方法（插值方向）随时间改变频繁，则可能容易注意到改变。因此，当改变容易被注意到时，抑制频繁地执行改变。同时，当改变不容易被注意到时，允许改变。

即，改变的抑制程度由改变的容易注意到的程度改变，并且可以使得左图像和右图像的失配不容易被注意到。

已经描述了当视差估计不正确时与视差偏离对应的示例。但是，本公开可以应用于由于当左图像和右图像的亮度偏离时的容易注意到的亮度偏离引起的颜色偏离。

即使当视差估计正确时也可能生成颜色偏离。当生成颜色偏离时，当计算可靠性时残余误差可能增大。因此，可以使用可靠性解决当视差估计正确时的颜色偏离。

已经描述了三维图像显示的图像处理。但是，本公开不限于三维图像显示的图像处理，而是可以应用于多维图像显示的图像处理。

上述各个系列的处理可以由硬件执行，也可以由软件执行。当各个系列的处理由软件执行时，构成这种软件的程序安装在计算机上。这里，表述“计算机”包括含有专用硬件的计算机和能够在安装各种程序时执行各种功能的通用个人计算机等。

<8．第七实施例（计算机）>

图52示出了根据程序执行前述各个系列的处理的计算机的硬件的示例配置。

在该计算机中，中央处理单元（CPU）901、只读存储器（ROM）902和随机存取存储器（RAM）903通过总线904相互连接。

输入/输出接口905也连接至总线904。输入单元906、输出单元907、存储单元908、通信单元909和驱动器910连接至输入/输出接口905。

输入单元906由键盘、鼠标、麦克风等构成。输出单元907由显示器、扬声器等构成。存储单元908由硬盘、非易失性存储器等构成。通信单元909由网络接口等构成。驱动器910驱动可移除介质911比如磁盘、光盘、磁光盘或半导体存储器等。

在如上配置的计算机中，CPU901经由输入/输出接口905和总线904将存储在例如存储单元908中的程序加载到RAM903上，并且执行该程序。因此，执行上述各个系列的处理。

要由计算机（CPU901）执行的程序被设置为记录在为封装介质等的可移除介质911中。另外，程序可以经由有线或无线传输介质比如局域网、因特网或数字卫星广播提供。

在计算机中，通过将可移除介质911插入到驱动器910中，可以经由输入/输出接口905将程序安装到存储单元908中。此外，程序可以由通信单元909经由有线或无线传输介质接收并且安装在存储单元908中。而且，程序可以预先安装在ROM902或存储单元908中。

应该注意，计算机执行的程序可以是根据本说明书中描述的顺序按时间序列处理的程序，或者是并行或在必要定时处比如被调用时处理的程序。

在本公开中，各个系列的处理包括按所描述的顺序执行的处理，但是处理不一定按时间顺序执行，还可以并行或单独执行。

本公开的实施例不限于上述实施例，在不背离本公开的范围的情况下可以进行各种改变和修改。

另外，以上流程图中描述的各个步骤可以由单个装置执行，也可以由具有各自的功能的多个装置执行。

此外，在单个步骤包括多个处理的情况下，包括在该步骤中的多个处理不仅可以由单个设备执行，而且可以分发至多个设备执行。

此外，以上描述为单个设备（或处理单元）的元件可以划分并被配置为多个设备（或多个处理单元）。相反，以上描述为多个设备（或多个处理单元）的多个元件可以共同配置为单个设备（或处理单元）。此外，除了上述元件以外的元件可以添加到各个设备（或处理单元）。此外，给定设备（或处理单元）的元件的一部分可以包括在另一个设备（或另一个处理单元）的元件中，只要系统整体的操作或配置基本上相同即可。换言之，本公开的实施例不限于上述实施例，可以在不背离本公开的范围的情况下进行各种改变和修改。

本领域的技术人员应该理解，取决于设计要求和其他因素，可以进行各种组合、子组合和改变，只要这些组合、子组合和改变在所附的权利要求及其等同物的范围内。

另外，本公开的技术还可以如下配置。

（1）一种图像处理装置，包括：

视差估计单元，从左视点图像和右视点图像生成视差信息，所述左视点图像为应用于多维图像显示的针对左眼的图像信号，所述右视点图像为应用于多维图像显示的针对右眼的图像信号；

插值方向控制单元，根据示出基于所述视差估计单元生成的视差信息的变化的程度的参数，控制包括所述左视点图像和所述右视点图像以外的视点图像的虚拟视点图像的插值方向的改变；以及

虚拟视点图像生成单元，在其改变由所述插值方向控制单元控制的插值方向上生成所述虚拟视点图像。

（2）根据（1）所述的图像处理装置，其中，所述插值方向控制单元在所述参数示出的变化大时禁止所述虚拟视点图像的所述插值方向的改变。

（3）根据（1）或（2）所述的图像处理装置，其中，所述插值方向控制单元在所述参数示出的变化小时执行所述虚拟视点图像的所述插值方向的改变。

（4）根据（1）至（3）中的任意一项所述的图像处理装置，其中，基于所述视差估计单元生成的视差信息的所述变化是时间变化。

（5）根据（1）至（4）中的任意一项所述的图像处理装置，还包括：

可靠性计算单元，计算由所述视差估计单元生成的所述视差信息的可靠性，

其中，示出基于所述视差估计单元生成的视差信息的变化的程度的所述参数是所述可靠性计算单元计算的所述视差信息的可靠性，以及

所述插值方向控制单元根据所述可靠性计算单元计算的所述视差信息的可靠性来控制所述虚拟视点图像的插值方向的改变。

（6）根据（1）至（4）中的任意一项所述的图像处理装置，其中，

示出基于所述视差估计单元生成的视差信息的变化的程度的所述参数是根据所述视差估计单元生成的视差信息计算的缩放值，以及

所述插值方向控制单元根据从所述视差估计单元生成的视差信息计算的缩放值控制所述虚拟视点图像的插值方向的改变。

（7）根据（1）至（6）中的任意一项所述的图像处理装置，其中，

所述插值方向控制单元根据示出基于所述视差估计单元生成的视差信息的变化的程度的所述参数，来选择一个方向作为所述虚拟视点图像的插值方向，

当所选择的一个方向在一段持续时间内被连续选择作为所述虚拟视点图像的插值方向时，所述插值方向控制单元将所述虚拟视点图像的插值方向改变为所选择的一个方向，以及

当所选择的一个方向未在一段持续时间内被连续选择作为所述虚拟视点图像的插值方向时，所述插值方向控制单元禁止改变所述虚拟视点图像的插值方向。

（8）根据（1）至（7）中的任意一项所述的图像处理装置，其中，所述虚拟视点图像生成单元将视点位置的收敛位置设置到左视点或右视点，并且使用所述视差估计单元生成的所述视差信息计算要生成所述虚拟视点图像的虚拟视点位置，以及在所计算的虚拟视点位置处在其改变由所述插值方向控制单元控制的插值方向上生成所述虚拟视点图像。

（9）根据（1）至（7）中的任意一项所述的图像处理装置，其中，所述虚拟视点图像生成单元将视点位置的收敛位置设置到左视点和右视点之间的任何位置，并且使用所述视差估计单元生成的所述视差信息计算要生成所述虚拟视点图像的虚拟视点位置，以及在所计算的虚拟视点位置处在其改变由所述插值方向控制单元控制的插值方向上生成所述虚拟视点图像。

（10）根据（1）至（9）中的任意一项所述的图像处理装置，还包括：

面部检测单元，检测观看由所述虚拟视点图像生成单元生成并且显示在显示单元上的所述虚拟视点图像的用户的面部的位置，

其中，所述插值方向控制单元根据所述面部检测单元检测的所述用户的面部的位置，来控制所述虚拟视点图像的插值方向的改变。

（11）根据（1）至（9）中的任意一项所述的图像处理装置，其中，

显示由所述虚拟视点图像生成单元生成的所述虚拟视点图像的显示单元是能够戴在用户的头上的，

所述图像处理装置还包括面部检测单元，所述面部检测单元检测观看显示在所述显示单元上的所述虚拟视点图像的所述用户的面部的位置和方向，以及

所述插值方向控制单元根据所述面部检测单元检测的所述用户的面部的位置和方向，来控制所述虚拟视点图像的插值方向的改变。

（12）根据（1）至（11）中的任意一项所述的图像处理装置，还包括：

场景改变检测单元，检测来自左视点图像或右视点图像的场景改变，

其中，所述插值方向控制单元在所述场景改变检测单元检测到场景改变时执行所述虚拟视点图像的插值方向的改变。

（13）一种图像处理方法，包括：

使图像处理装置从左视点图像和右视点图像生成视差信息，所述左视点图像为应用于多维图像显示的针对左眼的图像信号，所述右视点图像为应用于多维图像显示的针对右眼的图像信号；

使所述图像处理装置根据示出基于所生成的视差信息的变化的程度的参数，控制包括左视点图像和右视点图像以外的视点图像的虚拟视点图像的插值方向的改变；以及

使所述图像处理装置在其改变受控制的插值方向上生成所述虚拟视点图像。

本公开包含与2012年5月2日提交于日本专利局的日本在先专利申请JP2012-105252中公开的主题相关的主题，其整体内容通过引用合并于此。

Claims (13)

1.一种图像处理装置，包括：

视差估计单元，从左视点图像和右视点图像生成视差信息，所述左视点图像为应用于多维图像显示的针对左眼的图像信号，所述右视点图像为应用于多维图像显示的针对右眼的图像信号；

插值方向控制单元，根据示出基于所述视差估计单元生成的视差信息的变化的程度的参数，控制包括所述左视点图像和所述右视点图像以外的视点图像的虚拟视点图像的插值方向的改变；以及

虚拟视点图像生成单元，在其改变由所述插值方向控制单元控制的插值方向上生成所述虚拟视点图像。

2.根据权利要求1所述的图像处理装置，其中，所述插值方向控制单元在所述参数示出的变化大时禁止所述虚拟视点图像的所述插值方向的改变。

3.根据权利要求2所述的图像处理装置，其中，所述插值方向控制单元在所述参数示出的变化小时执行所述虚拟视点图像的所述插值方向的改变。

4.根据权利要求2所述的图像处理装置，其中，基于所述视差估计单元生成的视差信息的所述变化是时间变化。

5.根据权利要求2所述的图像处理装置，还包括：

可靠性计算单元，计算由所述视差估计单元生成的所述视差信息的可靠性，

其中，示出基于所述视差估计单元生成的视差信息的变化的程度的所述参数是所述可靠性计算单元计算的所述视差信息的可靠性，以及

所述插值方向控制单元根据所述可靠性计算单元计算的所述视差信息的可靠性来控制所述虚拟视点图像的插值方向的改变。

6.根据权利要求2所述的图像处理装置，其中，

示出基于所述视差估计单元生成的视差信息的变化的程度的所述参数是根据所述视差估计单元生成的视差信息计算的缩放值，以及

所述插值方向控制单元根据从所述视差估计单元生成的视差信息计算的缩放值控制所述虚拟视点图像的插值方向的改变。

7.根据权利要求2所述的图像处理装置，其中，

所述插值方向控制单元根据示出基于所述视差估计单元生成的视差信息的变化的程度的所述参数，来选择一个方向作为所述虚拟视点图像的插值方向，

当所选择的一个方向在一段持续时间内被连续选择作为所述虚拟视点图像的插值方向时，所述插值方向控制单元将所述虚拟视点图像的插值方向改变为所选择的一个方向，以及

当所选择的一个方向未在一段持续时间内被连续选择作为所述虚拟视点图像的插值方向时，所述插值方向控制单元禁止改变所述虚拟视点图像的插值方向。

8.根据权利要求2所述的图像处理装置，其中，所述虚拟视点图像生成单元将视点位置的收敛位置设置到左视点或右视点，并且使用所述视差估计单元生成的所述视差信息计算要生成所述虚拟视点图像的虚拟视点位置，以及在所计算的虚拟视点位置处在其改变由所述插值方向控制单元控制的插值方向上生成所述虚拟视点图像。

9.根据权利要求2所述的图像处理装置，其中，所述虚拟视点图像生成单元将视点位置的收敛位置设置到左视点和右视点之间的任何位置，并且使用所述视差估计单元生成的所述视差信息计算要生成所述虚拟视点图像的虚拟视点位置，以及在所计算的虚拟视点位置处在其改变由所述插值方向控制单元控制的插值方向上生成所述虚拟视点图像。

10.根据权利要求1所述的图像处理装置，还包括：

面部检测单元，检测观看由所述虚拟视点图像生成单元生成并且显示在显示单元上的所述虚拟视点图像的用户的面部的位置，

其中，所述插值方向控制单元根据所述面部检测单元检测的所述用户的面部的位置，来控制所述虚拟视点图像的插值方向的改变。

11.根据权利要求1所述的图像处理装置，其中，

显示由所述虚拟视点图像生成单元生成的所述虚拟视点图像的显示单元是能够戴在用户的头上的，

所述图像处理装置还包括面部检测单元，所述面部检测单元检测观看显示在所述显示单元上的所述虚拟视点图像的所述用户的面部的位置和方向，以及

所述插值方向控制单元根据所述面部检测单元检测的所述用户的面部的位置和方向，来控制所述虚拟视点图像的插值方向的改变。

12.根据权利要求1所述的图像处理装置，还包括：

场景改变检测单元，检测来自左视点图像或右视点图像的场景改变，

其中，所述插值方向控制单元在所述场景改变检测单元检测到场景改变时执行所述虚拟视点图像的插值方向的改变。

13.一种图像处理方法，包括：

使图像处理装置从左视点图像和右视点图像生成视差信息，所述左视点图像为应用于多维图像显示的针对左眼的图像信号，所述右视点图像为应用于多维图像显示的针对右眼的图像信号；

使所述图像处理装置根据示出基于所生成的视差信息的变化的程度的参数，控制包括左视点图像和右视点图像以外的视点图像的虚拟视点图像的插值方向的改变；以及

使所述图像处理装置在其改变受控制的插值方向上生成所述虚拟视点图像。

Images