CN103843336B - 图像处理装置、图像处理方法 - Google Patents

Abstract

本发明的目的在于依赖于基于L和R图像的估计视差的置信度生成多视角图像作为三维图像。输入适用于三维图像显示的左视角图像（L图像）和右视角图像（R图像），基于左视角图像（L图像）和右视角图像（R图像）生成视差信息，以及计算生成的视差信息的置信度。例如，通过执行不同类型的分析处理来计算不同的置信度，对计算的置信度应用加权，以及计算最终置信度。然后根据计算的置信度改变用于虚拟视角图像的生成条件。例如，当置信度高时增加虚拟视角图像中的视差距离，而当置信度低时减小虚拟视角图像中的视差距离。

Description

图像处理装置、图像处理方法

技术领域

本公开涉及一种图像处理装置、图像处理方法以及程序。具体地，本公开涉及一种用于生成要应用于三维(3D)图像显示的多视角图像的图像处理装置、图像处理方法以及程序。

背景技术

在三维(3D)图像显示处理中，利用其可以在不佩戴眼镜的情况下感知立体图像的裸眼3D显示装置已开始投入实际使用。裸眼3D显示装置例如在显示表面上具有透镜片或视差屏障(parallax barrier)，并根据观看位置来控制左眼和右眼所看见的图像。

换言之，执行控制以使得左眼观察作为以左视觉观察的图像的左视角图像以及右眼观察作为以右视觉观察的图像的右视角图像。

然而，在以上方法中，仅可以在距离显示器有限的观看位置获取到正确的立体视图。因此，当用户的观察位置是不同于规定位置的位置时，出现其中左眼看见用于右眼的图像(右视角图像)、而右眼看见用于左眼的图像(左视角图像)的反向观看或者其中左视角图像和右视角图像相混合的串扰。

为了解决这些问题，已提出如下配置：其中，不仅生成并显示对应于一个常规观察位置的标准的左视角图像和右视角图像，而且生成并显示被设置成当在其他观察位置观察时不引起串扰的从新视角看见的图像。

不仅生成一对原始的左视角图像和右视角图像、而且还生成其他虚拟视角的图像作为多视角图像，从根根观察位置的多视角图像中将一对最佳左视角图像和右视角图像设置成根据观察位置要被选择的，从而执行其中抑制反向观看或串扰的图像显示。

换言之，通过使得根据用户的观察位置而变化的一对左视角图像和右视角图像能够被观察到，左视角图像和右视角图像被设置成即使当改变用户的观察位置时也根据观察位置而分别被观察者的左眼和右眼观察到。

具体地，基于输入到显示装置或图像处理装置的两个原始视角图像(换言之，用于3D图像显示的左视角图像(L图像)和右视角图像(R图像)这两个视角图像)，生成具有除了两个视角之外的虚拟视角的视角图像。例如，生成包括原始L和R图像的、具有十个不同视角的多视角图像。

通过使得来自生成的针对用户距显示器的观察位置的多视角图像的两个最佳图像能够被合成并被观察到，可以在其中左视角图像和右视角图像混合的串扰被抑制时，在各个观察位置显示并观察到3D图像。

例如，专利文献1(JP 2006-115198A)公开了如下技术：其中，输入原始的左视角图像(L图像)和右视角图像(R图像)，根据两个图像执行视差检测，然后基于检测到的视差信息生成多个虚拟视角图像。具体地，公开了如下技术：其中，根据输入的左视角图像(L图像)和右视角图像(R图像)这两个原始3D图像检测视差，然后基于串扰量或融合视差范围来确定与输入的L和R图像不同的虚拟视角位置。

然而，专利文献1中描述的处理被配置成不考虑生成的虚拟视角图像的质量，以及参考左视角图像和右视角图像的中心来确定虚拟视角位置。因此，存在生成的虚拟视角图像的质量退化的可能性以及进而使得显示图像不适合观察的可能性。

虚拟视角位置与图像质量密切相关。

例如，如果假设：

输入的L图像的视角位置为0.0；以及

输入的R图像的视角位置为1.0，

则在新生成的具有虚拟视角的图像和图像质量之间的关系中存在以下特征。

(特征1)在L图像(0.0)和R图像(1.0)之间的、0.0和1.0之间的虚拟视角位置中，在作为L和R图像的中心位置的0.5处的虚拟视角图像具有与其他虚拟视角位置相比而言最低的图像质量。

(特征2)在0.0或比L图像还靠左的更低的、或者在1.0或比R图像还靠右的更高的虚拟视角位置处，视频质量随着视频进一步移动远离L图像或R图像而降低。

虚拟视角位置和图像质量之间的这种关系可以归因于例如视差检测 的精确度或图像中所包括的遮挡区域的量等。

应当注意，由于原始输入的左眼图像可以原样用在0.0的视角位置处且原始输入的右眼图像可以原样用在1.0的视角图像处，所以图像质量达到最大水平。

此外，专利文献1(JP 2006-115198A)提出了另一种技术：其中，根据原始输入的左视角图像(L图像)和右视角图像(R图像)的3D图像检测最大视差量，并确定虚拟视角位置以使得最大视差落在串扰量或融合视差范围之内。换言之，公开了其中根据输入的L和R图像的最大视差量来确定待生成的虚拟视角图像的视角间隔的技术。

然而，当根据原始的L和R图像检测最大视差时，不考虑具有最大视差的图像区域的图像和在注意该图像区域时的舒适性。因此，例如，出现以下问题。

·由于当检测最大视差时未考虑具有最大视差的图像区域的面积，所以当具有较小面积的对象具有最大视差时，存在根据几乎不影响视觉的最大视差图像区域的存在而不必要地缩窄虚拟视角间隔的可能性。

·此外，由于当检测最大视差时未考虑在注意具有最大视差的图像区域时的舒适性，所以当视觉上未注意的图像区域具有最大视差时，存在其中根据几乎不影响视觉的图像区域的最大视差信息而不必要地缩窄或加宽虚拟视角间隔的情况。

此外，专利文献2(JP 2006-126965A)公开了如下配置：其中，利用原始输入的左视角图像(L图像)和右视角图像(R图像)，在利用图像进行视差合成的期间来根据估计误差执行滤波处理。

然而，根据专利文献2，当得出估计误差的方法根本不清楚且误差估计方法的可信度较差时，即使当应用滤波处理时也存在生成失败的合成图像的可能性。

引用列表

专利文献

专利文献1：JP 2006-115198A

专利文献2：JP 2006-126965A

发明内容

技术问题

期望提供一种能够基于用于3D图像的左视角图像(L图像)和右视角图像(R图像)来执行生成具有高质量的多视角图像的处理的图像处理装置、图像处理方法以及程序。

此外，本公开提供了一种图像处理装置、图像处理方法以及程序，其能够通过在其中执行基于3D图像的左视角图像(L图像)和右视角图像(R图像)生成多视角图像的处理的配置下，执行例如视差估计处理和对估计处理的结果的可信度的计算，然后在根据计算的可信度执行视差调节来生成具有高质量的多视角图像。

问题的解决方案

根据本公开的第一方面，提供了一种图像处理装置，该图像处理装置包括：左视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于左眼的图像信号的左视角图像(L图像)；右视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于右眼的图像信号的右视角图像(R图像)；视差估计单元，被配置为根据左视角图像(L图像)和右视角图像(R图像)生成视差信息；可信度计算单元，被配置为计算视差估计单元生成的视差信息的可信度；以及虚拟视角图像生成单元，被配置为通过接收左视角图像(L图像)、右视角图像(R图像)、视差信息和可信度的输入来生成包括除了输入的L图像和R图像的视角之外的视角图像的虚拟视角图像。虚拟视角图像生成单元生成虚拟视角图像，以使得待生成的虚拟视角图像的视差间隔在可信度高时被设置得宽以及在可信度低时设置得窄。

此外，根据本公开的实施例的图像处理装置，可信度计算单元可以通过多个不同的可信度计算处理来计算多个可信度信息，然后通过对多个计算的可信度信息的加权相加来计算最终可信度。

此外，根据本公开的实施例的图像处理装置，可信度计算单元可以根据残差分量的量来执行可信度计算，该残差分量的量由输入的图像和根据视差估计单元所估计的视差信息而由视差补偿生成的视差补偿图像之间的差的计算所获得。

此外，根据本公开的实施例的图像处理装置，可信度计算单元可以在根据残差分量的可信度计算处理中，根据左视角图像(L图像)或右视角图像(R图像)的以像素区域为单位的空间活动性而改变可信度计算的方面。

此外，根据本公开的实施例的图像处理装置，可信度计算单元可以在根据残差分量的可信度计算处理中，根据左视角图像(L图像)或右视角图像(R图像)的以像素区域为单位的动态范围而改变可信度计算的方面。

此外，根据本公开的实施例的图像处理装置，可信度计算单元可以根据视差估计单元所估计的视差信息的水平相邻像素的视差之差来执行可信度计算。

此外，根据本公开的实施例的图像处理装置，可信度计算单元可以根据视差估计单元所估计的视差信息的垂直相邻像素的视差之差来执行可信度计算。

此外，根据本公开的实施例的图像处理装置，可信度计算单元可以根据视差估计单元所估计的视差信息是否达到预设的上限值或下限值来执行可信度计算。

此外，根据本公开的实施例的图像处理装置，可信度计算单元可以根据视差估计单元基于从左视角图像(L图像)输入单元输入的左视角图像(L图像)估计的视差信息和视差估计单元基于从右视角图像(R图像)输入单元输入的右视角图像(R图像)估计的视差信息的匹配来执行可信度计算。

此外，根据本公开的实施例的图像处理装置，虚拟视角图像生成单元可以具有视差调节部和图像合成部，视差调节部被配置为确定虚拟视角图像的视差位置，以使得根据可信度计算单元计算的可信度、要生成的虚拟视角图像的视差间隔在可信度高时被设置得宽以及在可信度低时被设置得窄，以及图像合成部被配置为根据视差调节部所确定的视差位置生成虚拟视角图像。

此外，根据本公开的实施例的图像处理装置，虚拟视角图像生成单元可以具有其中存储可信度和最佳视差量的对应信息的可信度数据库。视差调节部可以根据从可信度计算单元输入的可信度，通过应用存储在可信度数据库中的可信度和最佳视差量的对应信息来获取最佳视差量，然后根据所获取的视差量来确定虚拟视角图像位置。

此外，根据本公开的实施例的图像处理装置，对于下列两个视差信息(a)和(b)：(a)视差估计单元所估计的视差信息；以及(b)被配置成作为对被配置为将视差信息表示为图像的视差图应用低通滤波器(LPF)的结果的应用LPF的视差信息，虚拟视角图像生成单元还具有视差信息选择部和图像合成部，视差信息选择部被配置为对具有高可信度的像素选择视差信息以及对具有低可信度的像素选择应用LPF的视差信息，图像合成部被配置为基于视差信息选择部所选择的视差信息来生成虚拟视角图像。

此外，根据本公开的实施例的图像处理装置，对于下列两个虚拟视角图像(a)和(b)：(a)图像合成部所生成的虚拟视角图像；以及(b)被配置成作为对图像合成部生成的虚拟视角图像应用LPF的结果的应用低通滤波器(LPF)的虚拟视角图像，虚拟视角图像生成单元还具有虚拟视角图像选择部，虚拟视角图像选择部被配置为对于具有高可信度的像素选择虚拟视角图像以及对于具有低可信度的像素选择应用LPF的虚拟视角图像。

此外，根据本公开的第二方面，提供了一种图像处理装置，包括：左视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于左眼的图像信号的左视角图像(L图像)；右视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于右眼的图像信号的右视角图像(R图像)；第一视差估计单元，被配置为根据左视角图像(L图像)和右视角图像(R图像)生成视差信息；第一可信度计算单元，被配置为计算第一视差估计单元生成的视差信息的第一可信度；分辨率转换单元，被配置为执行对左视角图像(L图像)和右视角图像(R图像)的分辨率转换；第二视差估计单元，被配置为基于从分辨率转换单元输出的具有低分辨率的左视角图像(L图像)和右视角图像(R图像)来执行对视差信息的估计；第二可信度计算单元，被配置为计算第二视差估计单元生成的第二视差信息的第二可信度；分辨率逆转换单元，被配置为执行分辨率转换的逆转换；可信度选择单元，被配置为选择并输出通过将第一可信度与第二可信度进行比较而获得的较高的可信度，来作为最终可信度；以及虚拟视角图像生成单元，被配置为通过接收左视角图像(L图像)、右视角图像(R图像)、视差信息和最终可信度的输入来生成包括除了输入的L和R图像的视角之外的视角图像的虚拟视角图像。虚拟视角图像生成单元生成虚拟视角图像，以使得要生成的虚拟视角图像的视差间隔在最终可信度高时被设置得宽以及在最终可信度低时被设置得窄。

此外，根据本公开的第三方面，提供了一种在图像处理装置中执行的 图像处理方法，包括：通过图像输入单元输入要应用于三维图像显示的、作为用于左眼的图像信号的左视角图像(L图像)和作为用于右眼的图像信号的右视角图像(R图像)；通过视差估计单元根据左视角图像(L图像)和右视角图像(R图像)生成视差信息；通过可信度计算单元计算视差估计单元生成的视差信息的可信度；以及通过虚拟视角图像生成单元通过接收左视角图像(L图像)、右视角图像(R图像)、视差信息和可信度的输入，来执行用于生成包括除了输入的L图像和R图像的视角之外的视角图像的虚拟视角图像的虚拟视角图像生成处理。虚拟视角图像生成单元生成虚拟视角图像，以使得要生成的虚拟视角图像的视差间隔在可信度高时被设置得宽以及在可信度低时被设置得窄。

此外，根据本公开的第四方面，提供了一种用于使图像处理装置执行图像处理的程序，图像处理包括：通过图像输入单元输入要应用于三维图像显示的、作为用于左眼的图像信号的左视角图像(L图像)和作为用于右眼的图像信号的右视角图像(R图像)；在视差估计单元中根据左视角图像(L图像)和右视角图像(R图像)生成视差信息；在可信度计算单元中计算视差估计单元生成的视差信息的可信度；以及在虚拟视角图像生成单元中通过接收左视角图像(L图像)、右视角图像(R图像)、视差信息和可信度的输入来使虚拟视角图像生成处理被执行，虚拟视角图像生成处理包括生成包括除了输入的L图像和R图像的视角之外的视角图像的虚拟视角图像。使虚拟视角图像生成单元执行生成虚拟视角图像的处理，以使得要生成的虚拟视角图像的视差间隔在可信度高时被设置得宽以及在可信度低时被设置得窄。

注意，根据本公开的程序例如是可以设置于存储介质或通信介质中的程序，该存储介质或通信介质以计算机可读形式提供用于能够执行各种类型的程序代码的通用系统。以计算机可读形式来提供这类程序，使得能够实现根据计算机系统中的程序的处理。

后面将通过基于本公开的实施例和附图的更为详细的说明来使得本公开的目的、特征和优点清楚。此外，该说明书中的系统并不限于逻辑上聚集多个装置、所有这些装置都包含在相同外壳内的配置。

发明的有利效果

根据本公开的实施例的配置，实现了其中基于L和R图像、根据估 计视差的可信度来生成最佳多视角图像作为三维图像的配置。

具体地，输入要应用于三维(3D)图像显示的左视角图像(L图像)和右视角图像(R图像)，基于左视角图像(L图像)和右视角图像(R图像)生成视差信息，然后计算生成的视差信息的可信度。例如，利用多个不同的分析处理来计算多个不同的可信度，然后利用对多个计算的可信度的加权相加来计算最终可信度。虚拟视角图像生成方面根据计算的可信度而改变。例如，执行当可信度高时将虚拟视角图像的视差间隔设置为宽以及在可信度低时将其设置为低的处理。

通过该处理，可以根据估计视差的可信度生成最佳多视角图像。

附图说明

[图1]图1是用于描述图像处理装置的配置示例的图。

[图2]图2是用于描述视差估计单元的处理示例的图。

[图3]图3是用于描述虚拟视角图像生成处理的示例的图。

[图4]图4是用于描述虚拟视角图像生成处理的示例的图。

[图5]图5是用于描述虚拟视角图像生成处理的示例的图。

[图6]图6是用于描述可信度计算单元的具体示例的图。

[图7]图7是用于描述第一可信度计算部所执行的处理的图。

[图8]图8是用于描述第一可信度计算部所执行的处理的图。

[图9]图9是用于描述第一可信度计算部所执行的处理的图。

[图10]图10是用于描述第一可信度计算部所执行的处理的图。

[图11]图11是用于描述第一可信度计算部所执行的处理的图。

[图12]图12是用于描述第一可信度计算部所执行的处理的图。

[图13]图13是用于描述第一可信度计算部所执行的处理的图。

[图14]图14是用于描述第二可信度计算部所执行的处理的图。

[图15]图15是用于描述第二可信度计算部所执行的处理的图。

[图16]图16是用于描述第二可信度计算部所执行的处理的图。

[图17]图17是用于描述第三可信度计算部所执行的处理的图。

[图18]图18是用于描述第三可信度计算部所执行的处理的图。

[图19]图19是用于描述第三可信度计算部所执行的处理的图。

[图20]图20是用于描述第四可信度计算部所执行的处理的图。

[图21]图21是用于描述第五可信度计算部所执行的处理的图。

[图22]图22是用于描述虚拟视角图像生成单元所执行的具体处理的示例的图。

[图23]图23是用于描述虚拟视角图像生成单元所执行的具体处理的示例的图。

[图24]图24是用于描述虚拟视角图像生成单元所执行的具体处理的示例的图。

[图25]图25是用于描述虚拟视角图像生成单元所执行的具体处理的示例的图。

[图26]图26是用于描述虚拟视角图像生成单元所执行的具体处理的示例的图。

[图27]图27是用于描述虚拟视角图像生成单元所执行的具体处理的示例的图。

[图28]图28是用于描述另一个图像处理装置的配置示例的图。

具体实施方式

下文中，将参照附图描述根据本公开的图像处理装置、图像处理方法以及程序的细节。将按照以下顺序提供描述。

1.关于图像处理装置的整体配置和处理的概述

2.关于视差估计单元的处理

3.关于由虚拟视角图像生成单元基于输入的L和R图像执行的生成虚拟视角图像的基本处理

4.关于可信度计算单元的处理

4-1.关于第一可信度计算部所执行的可信度计算处理

4-1-1.基于残差分量的可信度(R0)计算处理示例1

4-1-2.基于残差分量的可信度(R0)计算处理示例2

4-2.关于第二可信度计算部所执行的可信度计算处理

4-3.关于第三可信度计算部所执行的可信度计算处理

4-4.关于第四可信度计算部所执行的可信度计算处理

4-5.关于第五可信度计算部所执行的可信度计算处理

4-6.关于可信度计算单元所执行的最终可信度计算处理

5.关于虚拟视角图像生成单元的处理

5-1.根据从可信度计算单元输入的可信度信息来确定虚拟视角位置的配置示例

5-2.根据关于可信度和最佳视差量之间的对应关系的信息和从可信度计算单元输入的可信度信息来确定虚拟视角位置的配置示例

5-3.关于其中包括应用LPF的视差信息转换以及转换虚拟视角图像的处理的示例

6.关于其中执行分辨率转换、以及利用对分辨率转换后的图像的应用来执行视差估计的示例

7.本公开的配置的总结

[1.关于图像处理装置的整体配置和处理的概述]

首先，将参照图1来描述图像处理装置的整体配置和处理的概述。然后，将描述构成单元所执行的处理的细节。

如图1所示，图像处理装置100具有左视角图像(L图像)输入单元101、右视角图像(R图像)输入单元102、视差估计单元103、可信度计算单元104、虚拟视角图像生成单元105和显示控制单元106，以及将生成的图像从图像处理装置100输出到显示单元110。

应当注意，在图1所示的配置中，将显示单元110图示为图像处理装置100的外部构成元件，然而，图像处理装置100可以被配置成其中具有显示单元110。

应当注意，图1示出了图像处理装置的主要配置，并且除了图中所示的配置之外，图像处理装置100还具有具备程序执行功能的控制单元比如执行数据处理控制的CPU、存储由控制单元所执行的程序和各种参数的存储单元、以及输入这样的参数和图像数据等的输入单元。

控制单元根据预先存储在存储单元中的程序来执行例如下面将描述的处理。

左视角图像(L图像)输入单元101和右视角图像(R图像)输入单元102输入预先生成的左视角图像(L图像)和右视角图像(R图像)以用于三维(3D)图像显示。

左视角图像(L图像)对应于左眼观察到的图像，而右视角图像(R图像)对应于右眼观察到的图像。

然而，这两幅图像包括两个标准的L和R图像。换言之，在其显示面上装备有例如透镜片或视差屏障(parallax barrier)的裸眼3D显示装置中，这些图像是当从规定位置(例如，前方中心位置)观察显示器时被观察为正确的3D图像的L和R图像。

当用户的观察位置是不同于规定位置的位置时，出现其中左眼看到用于右眼的图像(右视角图像)、而右眼看到用于左眼的图像(左视角图像)的反向观看或者出现其中左视角图像和右视角图像混合的串扰。

为了解决这些问题，图像处理装置100基于对应于一个常规观察位置的输入的L和R图像，换言之，标准的左视角图像(L图像)和右视角图像(R图像)，生成当从各个观察位置观察时不引起串扰的具有新视角(虚拟视角)的图像。

视差估计单元103输入左视角图像(L图像)和右视角图像(R图像)，从而基于这些图像生成视差信息。

视差信息是与输入的L和R图像中所包括的相同主体的图像之间的偏差(沿右-左方向上的像素偏差)以及到该主体的距离相对应的信息。具体地，例如，生成具有以像素为单位或者以像素区域为单位的视差信息(主体距离信息)的数据。

可信度计算单元104计算由视差估计单元103基于输入的L和R图像估计的、以像素为单位或者以像素区域为单位的视差信息的可信度。

虚拟视角图像生成单元105通过接收包括下列项的信息的输入来生成虚拟视角图像：

来自左视角图像(L图像)输入单元101的L图像；

来自右视角图像(R图像)输入单元102的R图像；

来自视差估计单元103的视差信息；以及

来自可信度计算单元104的可信度信息。

虚拟视角图像生成单元105根据从可信度计算单元104输入的可信度信息来执行确定虚拟视角位置等的处理，从而生成对应于确定的虚拟视角位置的虚拟视角图像。

虚拟视角图像生成单元105参考从可信度计算单元104输入的可信度信息来执行生成虚拟视角图像的处理。换言之，除了输入的L和R图像这两幅视角图像之外，进一步生成并输出具有总共N个视角的图像，其包括具有除了这两个视角之外的视角的图像。虚拟视角图像生成单元105通过例如当可信度计算单元104所计算的可信度高时将生成的虚拟视角图像的视差间隔设置得宽、而当可信度低时将其设置得窄来生成虚拟视角图像。后面将描述处理的细节。

经由显示控制单元106将虚拟视角图像生成单元105所生成的虚拟视角图像输出并显示在显示单元110上。

本公开的图像处理装置所生成的显示图像是用于裸眼3D显示装置的显示图像，用户可以通过裸眼3D显示装置在不佩戴眼镜的情况下观看立体图像。

显示单元110是执行裸眼3D显示的显示单元，并且是在其显示面上具有例如透镜片或视差屏障的且可以根据观看位置来控制左眼和右眼所看到的图像的显示单元。

显示控制单元106将由虚拟视角图像生成单元105生成的具有N个视角的图像输出到显示单元110。

应当注意，显示控制单元106根据显示单元110的显示配置生成显示信息。

应当注意，也可以将图像处理装置100配置为例如成像装置比如摄像装置、PC(个人电脑)或者显示装置比如具有成像单元的电视机，以及设置图像处理装置100以将其配置成当图像处理装置被配置为以上装置之一时具有根据每个装置的功能。

例如，将摄像装置配置成具有从不同视角拍摄L和R图像来作为图像的成像单元，并利用从成像单元输入的L和R图像来生成多视角图像。

[2.关于视差估计单元的处理]

接下来，将描述视差估计单元103的处理。

视差估计单元103接收左视角图像(L图像)和右视角图像(R图像)的输入，然后基于这些图像来生成视差信息。

视差信息是与标准的L和R图像中所包括的相同主体的图像之间的偏差(沿右-左方向上的像素偏差)以及到该主体的距离相对应的信息。具体地，例如，生成具有以像素为单位的视差信息(主体距离信息)的数据。

利用例如如下的现有方法来执行对视差信息的获取。

(a)基于块匹配的视差信息获取处理

(b)基于DP(Dynamic Programming，动态规划)匹配的视差信息获取处理

(c)基于分割的视差信息获取处理

(d)基于学习的视差信息获取处理

(e)基于以上方法的结合的视差信息获取处理

视差信息例如是用以上描述的(a)至(e)中的任何方法获取的。

将参照图2来简要描述基于块匹配的视差信息获取处理。

如图2所示，输入的原始标准图像是：

(a)左视角图像(L图像)；以及

(b)右视角图像(R图像)，

以及，例如，利用输入的L和R图像选择L图像的像素区域(块)121，并在R图像中检测到类似于所选块的块。换言之，从L和R图像选择被确定为相同主体的所拍摄区域的块(匹配块)。此外，测量L和R图像的匹配块之间的位置偏差(在水平方向上的像素数等)。

在图2中，例如，L图像的像素区域(块)121的关注像素LP＝(5,3)在R图像中的对应像素是RP＝(7,3)。

在这种情况下，L图像的像素位置(x,y)＝(5,3)在L和R图像之间的视差d(5,3)是按照如下计算的。

视差d(5,3)＝(7,3)-(5,3)＝(2,0)

换言之，L图像的像素位置(x,y)＝(5,3)的视差d为两个像素[像素]。

块的位置偏差根据到块中所拍摄的主体的距离而改变。

换言之，块的位置偏差对应于主体距离，并且获取关于位置偏差的信息作为视差信息。

应当注意，作为视差信息的表达形式，例如有深度图(距离图像或视差图)。深度图(视差图)例如是其中用以像素为单位的亮度来表示L图像和R图像的以像素为单位的视差(主体距离)的图像，以及例如高亮度区域指示近的主体(接近摄像装置)、而低亮度区域指示远的主体(距摄像装置远)。换言之，深度图是其中用亮度来表示主体距离的图像。

[3.关于由虚拟视角图像生成单元基于输入的L和R图像执行的生成虚拟视角图像的基本处理]

接下来，将描述虚拟视角图像生成单元105执行的基于输入的L和R图像生成虚拟视角图像的基本处理。

虚拟视角图像生成单元105通过接收包括下列项的信息的输入来生成虚拟视角图像：

来自左视角图像(L图像)输入单元101的L图像；

来自右视角图像(R图像)输入单元102的R图像；

来自视差估计单元103的视差信息；以及

来自可信度计算单元104的可信度信息。

例如，确定虚拟视角的预设数量(例如，十个)，并生成与虚拟视角中的每一个相对应的虚拟视角图像。虚拟视角图像是利用输入的标准L和R图像而生成的。换言之，虚拟视角图像是利用作为输入图像的左视角图像(L图像)和右视角图像(R图像)而生成的。

将参照图3及后续附图来描述生成虚拟视角图像的具体处理示例。

图3示出了输入到图像处理装置的原始的左视角图像(L图像)131和右视角图像(R图像)132以及基于L和R图像的虚拟视角图像133。

左视角图像(L图像)131是在从标准位置的左眼视角位置观察到的图像，而右视角图像(R图像)132是在从标准位置的右眼视角位置观察到的图像。

假设左视角图像(L图像)131的视角位置为0.0，而右视角图像(R图像)的视角位置为1.0。

图3示出了当例如生成从0.0和1.0的视角位置之间的0.3的视角位 置的观察图像作为虚拟视角图像133时的处理示例。

在左视角图像(L图像)131和右视角图像(R图像)132中的每一个的不同位置拍摄相同主体(苹果)。由于L图像和R图像具有不同的视角位置，所以相同主体的位置在这些图像中是不同的。

当生成具有在0.0的视角位置和1.0的视角位置之间的0.3的视角位置的虚拟视角图像103时，利用线性插值设置主体(苹果)的位置。通过沿着图3所示的直线L1改变主体的位置，确定根据每个虚拟视角的虚拟视角图像中的主体的位置，然后可以生成虚拟视角图像。

如上所述，基于输入的L和R图像、通过线性插值处理来生成每个虚拟视角位置的虚拟视角图像。

应当注意，当要生成虚拟视角图像时，可以利用输入的L和R图像这两幅图像，通过混合(blending)处理来生成虚拟视角图像。

可选地，可以通过根据虚拟视角位置使主体位置偏离的处理，仅利用一个图像比如仅利用L图像或仅利用R图像来生成虚拟视角图像。

可选地，可以执行在接近于L图像的虚拟视角位置处仅利用L图像生成虚拟视角图像以及在接近于R图像的位置处仅利用R图像生成虚拟视角图像的处理。

将参照图4来描述基于混合输入的L和R图像的处理来确定虚拟视角图像131的像素值的处理示例。

图4示出了：

作为视角位置0的输入的左视角图像(L图像)的像素P(x,y)141；

作为视角位置1的输入的右视角图像(R图像)中的、L图像的像素P的对应像素142；以及

作为视角位置Φ的虚拟视角图像中的、L图像的像素P的对应像素143。

应当注意，Φ＝0至1。

当输入的左视角图像(L图像)的像素P(x,y)141的视差为d(x,y)[像素]时，假设在虚拟视角图像中，L图像的像素P(x,y)的对应像素143的像素位置为像素Q(x+Φ·d(x,y),y)。

换言之，将虚拟视角图像中的像素Q(x+Φ·d(x,y),y)的像素值设置为 左视角图像(L图像)的像素P(x,y)141的的像素值。

如上所述，基于左视角图像(L图像)的像素的视差信息来设置虚拟视角图像的每个像素的像素值。

应当注意，利用应用右视角图像(R图像)的处理、使用邻近像素的像素值的插值处理、或者被用相同坐标下的左视角图像的像素进行插值的处理等，来确定在处理中未包括在虚拟视角图像中的像素的像素值。

图5示出了：

左视角图像(L图像)的水平线151；

右视角图像(R图像)的水平线152；以及

虚拟视角图像的水平线153。

图中所示的箭头是可以被应用以确定虚拟视角图像的水平线153的像素值的、连接左视角图像(L图像)中的像素位置和右视角图像(R图像)中的像素位置的线。

在图5所示的虚拟视角图像的水平线153中：

1指示用基于左视角图像(L图像)的水平线151的构成像素值的像素值设置的区域；

2指示用基于右视角图像(R图像)的水平线152的构成像素值的像素值设置的区域；以及

3指示其他区域。

如上所述，通过例如以下三个处理来执行对虚拟视角图像的像素值的设置。

1.对于左视角图像(L图像)的每个像素获得与输出视角位置对应的像素位置，并用左视角图像(L图像)的像素值对这些像素位置进行插值。

2.对于右视角图像(R图像)的每个像素获得与输出视角位置对应的像素位置，并用右视角图像(R图像)的像素值对这些像素位置进行插值。

3.输出视角图像的未在以上描述的处理1和2中的任一个中被插值的像素进行基于相邻像素的插值处理。

应当注意，参照图4和5描述的处理是用于基于输入的L和R图像 生成从与L和R图像不同的虚拟视角的图像的基本处理。

根据本公开的图像处理装置的虚拟视角图像生成单元105是基于该基本处理的，并且通过进一步应用从可信度计算单元104输入的可信度信息，然后确定基于可信度信息生成的虚拟视角位置等来生成最终的虚拟视角图像。

后面将详细描述该处理。

[4.关于可信度计算单元的处理]

接下来，将描述可信度计算单元104所执行的处理。

可信度计算单元104计算由视差估计单元103基于输入的L和R图像估计的、以像素为单位或以像素区域为单位的视差信息的可信度。

如图6所示，可信度计算单元104接收以下输入：

来自左视角图像(L图像)输入单元101的左视角图像(L图像)；

来自右视角图像(R图像)输入单元102的右视角图像(R图像)；以及

来自视差估计单元103的估计视差信息。

可信度计算单元104基于第一至第五可信度计算部171至175中的输入信息、通过多个不同处理计算多个可信度(R0至R4)，通过在算术运算部181中应用该多个可信度(R0至R4)计算估计视差信息的最终可信度信息，然后将可信度信息输出到虚拟视角图像生成单元105。

算术运算部181利用其中将预设的权重系数α0、α1、α2、α3和α4应用于在第一至第五可信度计算部171至175中所计算的可信度R0、R1、R2、R3和R4的以下表达式来计算加权和(R)，并将所计算的值输出到虚拟视角图像生成单元105作为最终可信度信息。

R＝α0·R0+α1·R1+α2·R2+α3·R3+α4·R4

应当注意，虽然图6示出了第一至第五可信度计算部171至175这五种可信度计算部，但是利用这些可信度计算部中的一个或更多个、而非全部五个部分的配置也是可以的。可选地，还可以具有其中应用其他可信度的配置。

下文中，将详细描述图6所示的第一至第五可信度计算部171至175所执行的可信度计算处理。

(4-1.关于第一可信度计算部所执行的可信度计算处理)

第一可信度计算部171基于视差补偿的残差分量来计算可信度(R0)。

换言之，通过应用从视差估计单元103输入的以像素为单位的估计视差信息生成视差补偿图像，以及基于包括在视差补偿图像中的像素值来确定视差估计单元103所生成的估计视差信息的可信度。

将描述与基于视差补偿的残差分量的可信度(R0)计算处理示例有关的多个处理示例。

(4-1-1.基于残差分量的可信度(R0)计算处理示例1)

图7是用于描述第一可信度计算部171所执行的基于残差分量的可信度(R0)计算处理示例1的图。

第一可信度计算部171首先将从视差估计单元103输入的以像素为单位的估计视差信息202应用到从左视角图像(L图像)输入单元101输入的L图像201，以生成视差补偿图像203。

估计视差信息202例如也称作视差图，并且是其中用亮度来表示视差估计单元103所生成的视差信息的图像数据。视差图是其中用亮度以像素为单位来表示视差(主体距离)的图像，以及例如高亮度区域指示近的主体(接近于摄像装置)、而低亮度区域指示远的主体(距摄像装置远)。换言之，视差图是其中用亮度来表示主体距离的图像。

视差补偿图像203是通过将从视差估计单元103输入的以像素为单位的估计视差信息202施加到L图像201上而生成的虚拟视角图像。然而，其虚拟视角是与从右视角图像(R图像)输入单元102输入的R图像的视角位置(相位1)对应的视角位置。

如果视差估计单元103所生成的以像素为单位的估计视差信息202正确，则通过应用估计视差信息202而生成的视差补偿图像203与从右视角图像(R图像)输入单元102输入的R图像相一致。

然而，实际上，视差估计单元103所生成的估计视差信息202包括估计误差等，从而在基于L图像201生成的视差补偿图像203与从右视角图像(R图像)输入单元102输入的输入R图像204之间存在差别。

生成通过计算以视差补偿图像203和输入R图像204之间的对应像素为单位的像素值之间的差而获得的图，即，残差图205。图中示出的残差图205是其中以视差补偿图像203和输入R图像204之间的对应像素 为单位的像素值之间的差通过灰度信息表达的图。例如，在较暗的部分中差较大。

基于残差图205，将作为以像素为单位的差的残差与预设的阈值(Th)相比较，并对具有比阈值(Th)大的残差的像素数进行计数。通过将所计数的值设置为N，根据值N来确定视差估计单元103所生成的估计视差信息的可信度R0。

换言之，当具有比阈值(Th)大的残差的像素数N大时，视差估计单元103所生成的估计视差信息的可信度R0低。

另一方面，当具有比阈值(Th)大的残差的像素数N小时，将视差估计单元103所生成的估计视差信息的可信度R0确定为高。

具体地，将具有比阈值(Th)大的残差的像素数N和视差估计单元103所生成的估计视差信息的可信度R0之间的对应关系定义为例如如图8所示的对应关系。

换言之，第一可信度计算部171如下根据具有比阈值(Th)大的残差的像素数N的值，来计算视差估计单元103所生成的估计视差信息的可信度R0的值。

0≤N≤Mmin:可信度R0＝R0max

Nmin≤N≤Nmax:可信度R0＝R0max～R0min

Nmax≤N:可信度R0＝R0min

应当注意，对于Nmin、Nmax、R0min和R0max的值，使用预先设置的值。

此外，在Nmin≤N≤Nmax的范围中，可信度R0在R0max和R0min之间作直线变化。

应当注意，尽管在以上处理示例中已经描述了其中基于L图像生成具有L图像作为参考的视差补偿图像的处理示例，但是在上述处理中也可以执行用R图像来替代L图像的处理。换言之，可以将处理配置成通过基于R图像生成具有R图像作为参考的视差补偿图像来执行。

应当注意，尽管所有以下处理示例将被描述为以L图像作为参考来执行，但是也可以将处理配置成通过切换L和R图像来执行。

(4-1-2.基于残差分量的可信度(R0)计算处理示例2)

接下来，将参照图9和10来描述第一可信度计算部171所执行的基于残差分量的可信度(R0)计算处理示例2。

在该处理示例2中，通过将从视差估计单元103输入的以像素为单位的估计视差信息应用于作为输入图像的L图像上，获得针对其移动了与视差对应的距离的输入R图像的像素位置作为对应像素位置。

计算在上述处理中获得的R图像的对应像素位置的像素值和L图像的像素的差作为残差D。

基于所有图像的残差D的相加值，确定视差估计单元103所生成的估计视差信息的可信度。

图9是用于描述第一可信度计算部171所执行的基于残差分量的可信度(R0)计算处理示例2的图。

第一可信度计算部171首先基于视差估计单元103所生成的估计视差信息212来获取与从左视角图像(L图像)输入单元101输入的L图像211的每个像素对应的视差信息。

这里，假设视差仅存在于水平方向(X方向)上。

将L图像211的像素(x,y)的视差设置为例如d(x)。将d(x)表示为与视差对应的像素数，例如，两个像素(2pixels)等。

第一可信度计算部171基于L图像211的像素(x,y)的视差d(x)，来确定从右视角图像(R图像)输入单元102输入的R图像213的对应像素位置。换言之，将与来自R图像213的、与L图像211的像素(x,y)相同的像素位置(x,y)的视差d(x)对应的距离以及在水平方向上移动之后的位置设置为对应像素位置。

如果视差估计单元103的估计视差信息具有正确值，则R图像213中的对应像素位置的像素值具有与L图像211的像素(x,y)相同的像素值。

然而，如果视差估计单元103的估计视差信息具有不正确值，则R图像213中的对应像素位置的像素值非常可能具有与L图像211的像素(x,y)不同的像素值。

计算L图像211和R图像213的对应像素的像素值的差，作为残差分量(D)。例如，生成其中用灰度信息表示整个图像的残差分量的残差图214。

图中所示的残差图214是其中用灰度信息表示L图像211和R图像 213的对应像素的像素值的差(残差)的图。例如，在较暗的部分中差较大。

计算通过将在所有图像的残差图214中所表示的以像素为单位的差(残差)相加而获得的值，作为残差分量的量D。

根据残差分量的量D的值，确定视差估计单元103所生成的估计视差信息的可信度R0。

换言之，当残差分量的量D大时，视差估计单元103所生成的估计视差信息的可信度R0低。

另一方面，当残差分量的量D小时，视差估计单元103所生成的估计视差信息的可信度R0被确定为高。

将残差分量的量D与视差估计单元103所生成的估计视差信息的可信度R0之间的对应关系具体地定义为例如如图10所示的对应关系。

换言之，第一可信度计算部171如下根据残差分量的量D的值来计算视差估计单元103所生成的估计视差信息的可信度R0的值。

0≤D≤Dmin:可信度R0＝R0max

Dmin≤D≤Dmax:可信度R0＝R0max～R0min

Dmax≤D:可信度R0＝R0min

应当注意，对于Dmin、Dmax、R0min和R0max的值，使用预先设置的值。

此外，在Dmin≤D≤Dmax的范围中，可信度R0在R0max和R0min之间作直线变化。

应当注意，尽管参照图7至10所描述的处理用于基于对其应用了从视差估计单元103输入的以像素为单位的估计视差信息的残差分量来执行估计视差的可信度计算处理，但当例如生成具有估计视差的误差的(换言之，具有左残差分量的)虚拟视角图像时，存在其中根据图像的每个区域的特性(特征)而使残差分量凸现或几乎没有影响的情况，从而当基于残差分量确定可信度时，有可能可以根据图像的每个区域的特性(特征)设置要执行的不同的处理。

具体地，当例如在纹理区域中生成具有剩余的残差分量的虚拟视角图像时，残差分量、即估计视差的偏差大大影响图像，因此当图像被观察时 误差是明显的。

另一方面，在平坦区域中，残差分量、即估计视差的偏差几乎不影响图像，因此当图像被观察时误差很少是明显的。

考虑到以上情形，有可能可以设置成检测图像的区域的特性(特征)，以及根据所检测到的以图像区域为单位的特性来适应性地改变提取残差分量的方法。

作为图像区域的特征值，例如，待检测的特征值是：

空间活动性；以及

动态范围。

此外，根据以图像区域为单位的上述特征值，适应性地改变根据残差分量所计算的可信度。具体地，例如，根据以图像区域为单位的特征值来执行改变先前参照图8和10所描述的可信度计算处理中所使用的各种参数的处理，参数包括：

图8的曲线图中所示的下列参数包括：

Nmin、Nmax；和

R0min、R0max；

图10的曲线图中所示的下列参数包括：

Dmin、Dmax；和

R0min、R0max；或

图7中所示的阈值(Th)。

将参照图11来描述具体示例。

图11是示出如下示例的曲线图：其中，检测空间活动性作为图像、例如，输入L图像的以像素为单位的特征值，根据空间活动性值来改变图7中所示的阈值(Th)、以及将用作残差分量的指标的计数值(N)设置为改变。

应当注意，空间活动性被计算为具有如例如图11所示的处于中心的关注像素的像素区域(例如，具有3×3像素)中的相邻像素的像素值之间的差的绝对值的和(空间活动性计算处理示例)。

可以将具有像素值之间的差的绝对值的和的高值的区域确定为纹理 区域(边缘区域)，以及可以将具有其低值的区域确定为平坦区域。

在图11所示的曲线图中，水平轴表示空间活动性，垂直轴表示残差分量，并且每个点对应于像素的空间活动性和残差分量的值。

这里，根据如图中所示的图像区域的空间活动性改变参照图7所述的阈值(Th)，即定义是否包括要确定作为残差分量的存在的计数N的计数值的阈值(Th)。

利用以上所描述的设置，根据图像的每个区域的特性来计算可信度。

图12示出了与图11不同的处理示例。

以与图11相同的方式来检测空间活动性，作为图像、例如输入L图像中的以像素为单位的特征值。

在图12所示的示例中，通过根据空间活动性值改变图8和10所示的参数来改变基于残差的可信度计算处理，参数包括：

Nmin、Nmax；和

Dmin、Dmax。

在图12所示的曲线图中，水平轴表示空间活动性，而垂直轴表示残差分量，并且每个点对应于如图11中的每个像素的空间活动性和残差分量的值。

这里，根据如图中所示的图像区域的空间活动性来改变图8和10中所示的参数，参数包括：

Nmin、Nmax；和

Dmin、Dmax。

利用以上所描述的设置，根据图像的每个区域的特性来计算可信度。

参照图11和12所描述的处理示例是其中将空间活动性应用为图像区域的特征值的处理示例。

也可以应用动态范围来作为图像区域的特征值。

将参照图13来描述其中获取动态范围作为图像区域的特征值以及基于动态范围的值来改变处理方面的示例。

图13示出了从左视角图像(L图像)输入单元101和右视角图像(R图像)输入单元102输入的两个图像区域，这两个图像区域是：

(a)具有包括处于中心的关注像素的3×3像素的输入L图像的图像区域；以及

(b)具有包括处于中心的关注像素的3×3像素的输入R图像的图像区域。

这些图像区域是通过视差估计单元103所执行的视差估计处理而被提取作为对应像素块的对应块。

换言之，如果视差估计正确，则两个像素块包括对相同主体所拍摄的图像。

(a)下列像素值是从包括在具有包括处于中心的关注像素的3×3像素的输入L图像的图像区域中的9个像素中获取的：

具有最大像素值(亮度值)(maxL)的像素的像素值；以及

具有最小像素值(亮度值)(minL)的像素的像素值。

(b)用相同的方式，从包括在具有包括处于中心的关注像素的3×3像素的输入R图像的图像区域中的9个像素中获取下列像素值：

具有最大像素值(亮度值)(maxR)的像素的像素值；以及

具有最小像素值(亮度值)(minR)的像素的像素值。

此外，对于对应于关注像素的残差分量，如下来计算利用L图像的像素块的像素值的中间值及其动态范围的计算值(Lx)以及利用R图像的像素块的像素值的中间值及其动态范围的计算值(Rx)：

Lx＝(maxL+minL)/2+α(maxL-minL)～(maxL+minL)/2-α(maxL-minL)；以及

Rx＝(maxR+minR)/2+α(maxR-minR)～(maxR+minR)/2-α(maxR-minR)

应当注意：

(maxL+minL)/2对应于L图像的像素块的像素值的中间值；以及

(maxL-minL)对应于L图像的像素块的像素值的动态范围。

(maxR+minR)/2对应于R图像的像素块的像素值的中间值；以及

(maxR-minR)对应于R图像的像素块的像素值的动态范围。

α为系数。

此外，计算Lx和Rx的差的最小值，并将该差设置成关注像素的残差分量。

在这种情况下，Lx和Rx的差的最小值根据每个像素块的动态范围而改变。

结果，适应性地调节了根据以像素块为单位的动态范围而计算的残差分量。

利用作为图像区域的特征值的动态范围，可以根据每个图像区域的动态范围的值来计算可信度。

(4-2.关于第二可信度计算部所执行的可信度计算处理)

接下来，将描述图6中所示出的第二可信度计算部172所执行的可信度(R1)计算处理示例。

图6所示的第二可信度计算部172基于视差图的水平相邻像素差来计算可信度(R1)。视差图是其中用亮度来表示视差估计单元103所生成的视差信息的图像数据。

图14示出了生成虚拟视角图像的处理示例。假设如下情形，其中，例如利用输入L图像的像素值以及利用视差估计单元103所生成的视差信息来设置虚拟视角图像的像素值。

图14所示的L图像指示L图像的水平方向线，且箭头对应于视差估计单元103所生成的视差信息。

当在L图像的像素区域a和像素区域b中设置处于不同距离的不同主体时：

根据与L图像的区域a对应的视差信息来在虚拟视角图像的区域ax中设置与L图像的区域a的像素值相同的像素值；以及

类似地，根据与L图像的区域b对应的视差信息在虚拟视角图像的区域bx中设置与L图像的区域b的像素值相同的像素值。

然而，在这种情况下，在与变为其中不可能设置像素值的区域(换言之，像素值不可设置区域231)的、L图像的两者之中任一区域对应的虚拟视角图像的区域231中不存在像素值。

对于这样的像素区域，需要使用其他图像或者生成的虚拟视角图像的相邻像素的像素值的插值处理。然而，像素区域结果变为不自然的图像的 可能性高。

在图6所示的第二可信度计算部172所执行的可信度(R1)计算处理中，以像素为单位来计算出现这样的像素值不可设置区域的可能性，并根据该可能性来计算估计视差信息的可信度R1。

将参照图15来描述具体的可信度计算处理示例。

图6所示的第二可信度计算部172接收来自图1所示的视差估计单元103的估计视差信息232的输入。

图15所示的估计视差信息232利用以像素为单位的像素灰度(亮度)来表示估计视差。

在视差估计信息中，顺序地选择包括处于中心的关注像素的、水平方向上的三个像素。此外，计算下列元素：

指示关注像素的视差的像素值(亮度值)和指示左相邻像素的视差的像素值(亮度值)之间的绝对差值；以及

指示关注像素的视差的像素值(亮度值)和指示右相邻像素的视差的像素值(亮度值)之间的绝对差值，以及

将两个绝对差值相加，由此计算绝对差值之和(D)。

基于绝对差值之和D，确定视差估计单元103所生成的估计视差信息的可信度R1。

换言之，当绝对差值之和D大时，视差估计单元103所生成的估计视差信息的可信度R1低。

另一方面，当绝对差值之和D小时，视差估计单元103所生成的估计视差信息的可信度R1被确定为高。

将绝对差值之和D与视差估计单元103所生成的估计视差信息的可信度R1之间的对应关系具体地定义为例如如图16所示的对应关系。

换言之，第二可信度计算部172如下根据绝对差值之和D的值来计算视差估计单元103所生成的估计视差信息的可信度R1的值：

0≤D≤Dmin:可信度R1＝R1max；

Dmin≤D≤Dmax:可信度R1＝R1max～R1min；以及

Dmax≤D:可信度R1＝R1min。

应当注意，对于Dmin、Dmax、R1min和R1max的值，使用预先设置的值。

此外，在Dmin≤D≤Dmax的范围中，可信度R1在R1max和R1min之间作直线变化。

(4-3.关于第三可信度计算部所执行的可信度计算处理)

接下来，将描述图6中所示出的第三可信度计算部173所执行的可信度(R2)计算处理示例。

图6所示的第三可信度计算部173基于纵向边缘部分的视差的垂直相邻像素差来计算可信度(R2)。

纵向边缘部分，换言之，其中在作为垂直方向的纵向上存在边缘的图像区域是其中像素值和亮度在水平方向上显著变化的区域，并且如果在这样的纵向边缘部分中出现视差估计的误差，则观察的3D图像的不自然变得更明显。

因此，当生成利用视差估计单元103所生成的估计视差信息的虚拟视角图像时，在图像的纵向边缘部分中获得比在横向边缘部分中更正确的估计视差信息。

考虑到以上情况，第三可信度计算部173根据以图像区域为单位的纵向边缘部分的强度来计算可信度(R2)。

应当注意，为了判定部分是否为纵向边缘部分，可以应用例如图17所示的方法。

如图17所示，从输入L图像中提取L图像的包括关注像素241的2×3像素区域，计算相邻像素的像素值(可以使用亮度值)的绝对差值，然后计算下列元素：

通过将横向(水平方向)上的相邻像素之间的多个绝对差值相加而获得的绝对横向差值的和；以及

通过将纵向(垂直方向)上的相邻像素之间的多个绝对差值相加而获得的绝对纵向差值的和。

此外，比较预设阈值Th_H和Th_V。换言之，确定条件(1)和(2)是否都被满足：

(1)横向上的绝对差值的和>Th_H；以及

(2)纵向上的绝对差值的和<Th_V。

当条件(1)和(2)都满足时，将关注像素241确定为纵向边缘部分。

另一方面，当条件(1)和(2)中的任何一个未被满足时，可以将关注像素241确定为纵向边缘部分。

第三可信度计算部173根据纵向边缘的强度来计算可信度(R2)。

应当注意，在纵向边缘的区域中，通过例如块匹配等的处理来执行的、视差估计单元103所生成的估计视差信息的可信度变高。

将参照图18来描述第三可信度计算部173根据纵向边缘的强度所执行的可信度(R2)计算处理。

如图18所示，第三可信度计算部173接收来自图1所示的视差估计单元103的估计视差信息232的输入。

图18所示的估计视差信息232利用以像素为单位的像素灰度(亮度)来表示估计视差。

在视差估计信息中，顺序地选择包括处于中心的关注像素的、垂直方向上的三个像素。此外，计算下列元素：

指示关注像素的视差的像素值(亮度值)和指示上相邻像素的视差的像素值(亮度值)之间的绝对差值；以及

指示关注像素的视差的像素值(亮度值)和指示下相邻像素的视差的像素值(亮度值)之间的绝对差值，以及

将两个绝对差值相加，由此计算绝对差值之和(D)。

基于绝对差值之和D，确定视差估计单元103所生成的估计视差信息的可信度R2。

当绝对差值之和D较大时，即使在纵向上也存在像素值(亮度)的很大的差，且纵向边缘的倾向低，以及在该种情况下，视差估计单元103所生成的估计视差信息的可信度R2被设置为低的值。

另一方面，当绝对差值之和D小时，即使在纵向上也存在像素值(亮度)的小的差，且纵向边缘的倾向高，以及在该种情况下，视差估计单元103所生成的估计视差信息的可信度R2被确定为高。

将绝对差值之和D与视差估计单元103所生成的估计视差信息的可信度R2之间的对应关系具体地定义为例如如图19所示的对应关系。

换言之，第三可信度计算部173如下根据绝对差值之和D的值来计算视差估计单元103所生成的估计视差信息的可信度R2的值：

0≤D≤Dmin:可信度R2＝R2max；

Dmin≤D≤Dmax:可信度R2＝R2max～R2min；以及

Dmax≤D:可信度R2＝R2min。

应当注意，对于Dmin、Dmax、R2min和R2max的值，使用预先设置的值。

此外，在Dmin≤D≤Dmax的范围中，可信度R2在R2max和R2min之间作直线变化。

(4-4.关于第四可信度计算部所执行的可信度计算处理)

接下来，将描述图6中所示出的第四可信度计算部174所执行的可信度(R3)计算处理示例。

图6所示的第四可信度计算部174基于视差估计单元103所生成的估计视差信息和对预设估计视差的上限值与下限值的比较来计算可信度(R3)。

图1所示的图像处理装置100的视差估计单元103首先通过应用例如参照图2描述的块匹配处理等来估计输入L和R图像之间的视差。

为了处理的效率，通过在例如执行块匹配时针对L图像中设置的一个块预先设置在R图像中设置的块的设置范围(换言之，搜索范围)来进行视差估计处理。

因此，当实际正确的视差超出搜索范围时，视差估计单元103所生成的估计视差信息根据预定的搜索范围而变为上限值或下限值。

当将上限值或下限值作为估计视差信息输出时，实际视差极大可能地大于上限值或者小于下限值。

图6所示的第四可信度计算部174通过提取对其计算了上限值或下限值的这种视差的像素区域，来计算估计视差信息的可信度(R3)。

将参照图20来描述图6中所示出的第四可信度计算部174所执行的处理。

图6所示的第四可信度计算部174从由如图20(a)所示的左视角图像(L图像)输入单元101输入的L图像中提取包括关注像素241的像素区 域，例如，具有作为中心像素的关注像素241的3×3像素区域，然后首先确定视差估计单元103所生成的估计视差信息是否达到针对关注像素241的上限值或下限值。

当对应于关注像素241的估计视差信息未达到上限值或下限值时，关注像素的可信度(R3)变为最大值(R3max)。

当对应于关注像素241的估计视差信息达到上限值或下限值时，针对包括关注像素241的像素区域、例如图20(a)所示的3×3像素区域中的九个像素，来对其估计视差信息达到上限值或下限值的像素数量(N)进行计数。

第四可信度计算部174根据计数数量(N)来计算可信度(R3)。

在包含其估计视差信息达到上限值或下限值的关注像素的像素区域(3×3像素)中所包括的像素之中，当其估计视差信息达到上限值或下限值的像素数量(N)大时，确定关注像素的实际视差极大可能大于上限值或小于下限值，并将视差估计单元103所生成的估计视差信息的可信度R3设置为低的值。

另一方面，在包含其估计视差信息达到上限值或下限值的关注像素的像素区域(3×3像素)中所包括的像素之中，当其估计视差信息达到上限值或下限值的像素数量(N)小时，确定关注像素的实际视差不大可能大于上限值或小于下限值，并将视差估计单元103所生成的估计视差信息的可信度R3设置为高的值。

将计数的像素数量N与视差估计单元103所生成的估计视差信息的可信度R3之间的对应关系具体地定义为例如如图20(b)所示的对应关系。

换言之，第四可信度计算部174如下根据在包含其估计视差达到上限值或下限值的关注像素的像素区域(3×3像素)中包括的估计视差达到上限值或下限值的像素数量(N)的值，来计算视差估计单元103所生成的估计视差信息的可信度R3的值：

0≤N≤Nmin:可信度R3＝R3max；

Nmin≤N≤Nmax:可信度R3＝R3max～R3min；以及

Nmax≤N:可信度R3＝R3min.

应当注意，对于Nmin、Nmax、R3min和R3max的值，使用预先设置的值。

此外，在Nmin≤N≤Nmax的范围中，可信度R3在R3max和R3min之间作直线变化。

(4-5.关于第五可信度计算部所执行的可信度计算处理)

接下来，将描述图6中所示出的第五可信度计算部175所执行的可信度(R4)计算处理示例。

图6所示的第五可信度计算部175基于如图21(1)所示的视差估计单元103所生成的估计视差信息，来计算R图像的与L图像的每个像素(a)对应的像素位置(b)。此外，第五可信度计算部通过估计与R图像的所计算的像素位置(b)对应的L图像之间的视差来计算L图像的对应像素位置(c)。

如果估计视差正确，则满足(a)＝(c)。换言之，如图中所示，满足以下：

移动量(X)＝0。

然而，当估计视差信息不正确时，满足以下：

移动量(X)≠0。

图6所示的第五可信度计算部175通过这样的处理来计算可信度(R4)。

应当注意，作为处理的前提，视差估计单元103被设置成生成下列两种估计视差信息，并将信息提供给第五可信度计算部175：

基于R图像的与从左视角图像(L图像)输入单元101输入的L图像对应的像素位置的检测信息的、基于L图像的估计视差信息；以及

基于L图像的与从右视角图像(R图像)输入单元102输入的R图像对应的像素位置的检测信息的、基于R图像的估计视差信息。

具体地，图6所示的第五可信度计算部175顺序地执行下列处理。

(处理1)对于从左视角图像(L图像)输入单元101输入的L图像的关注像素(a)，基于视差估计单元103所生成的基于L图像的估计视差信息，来获取从右视角图像(R图像)输入单元102输入的R图像中的对应像素位置(b)。

(处理2)对于从右视角图像(R图像)输入单元102输入的R图像的像素(b)，基于视差估计单元103所生成的基于R图像的估计视差信息来获取L图像中的对应像素位置(c)。

(处理3)获取L图像中的像素(a)和像素(c)之间的距离(移动量X)，然后将该距离与规定的阈值(TH_X)进行比较。

(处理4)对从左视角图像(L图像)输入单元101输入的L图像的所有像素执行处理1至3，然后对满足下列判定公式的像素数量(C)进行计数。

移动量X≥TH_X

图6所示的第五可信度计算部175基于满足上述判定公式的像素数量(C)来计算估计视差信息的可信度(R4)。

当满足上述判定公式的像素数量(C)大时，将视差估计单元103所生成的估计视差信息的可信度(R4)设置为低的值。

另一方面，当满足上述判定公式的像素数量(C)小时，将视差估计单元103所生成的估计视差信息的可信度(R4)设置为高的值。

将像素数量C与视差估计单元103所生成的估计视差信息的可信度R4之间的对应关系具体地定义为例如如图21(2)所示的对应关系。

换言之，第五可信度计算部175根据满足下列判定的像素数量(C)的值，来计算视差估计单元103所生成的估计视差信息的可信度R4的值：

移动量X≥TH_X

如下在从左视角图像(L图像)输入单元101输入的L图像的所有像素之中：

0≤C≤Cmin:可信度R4＝R4max；

Cmin≤C≤Cmax:可信度R4＝R4max～R4min；以及

Cmax≤C:可信度R4＝R4min。

应当注意，对于Cmin、Cmax、R4min和R4max的值，使用预先设置的值。

此外，在Cmin≤C≤Cmax的范围中，可信度R4在R4max和R4min之间作直线变化。

(4-6.关于可信度计算单元所执行的最终可信度计算处理)

如参照图6所述，可信度计算单元104接收如图6所示的下列元素，这些元素是：

来自左视角图像(L图像)输入单元101的左视角图像(L图像)；

来自右视角图像(R图像)输入单元102的右视角图像(R图像)；以及

来自视差估计单元103的估计视差信息，

以及基于输入的信息，第一至第五可信度计算部171至175利用如前所述的多个不同处理来计算多个可信度(R0至R4)。

图6所示的算术运算部181通过应用多个可信度(R0至R4)计算最终可信度信息，然后将可信度信息输出到虚拟视角图像生成单元105。

算术运算部181利用其中将预设的权重系数α0、α1、α2、α3和α4应用到第一至第五可信度计算部171至175中所计算的可信度R0、R1、R2、R3和R4上的以下表达式来计算加权和(R)，并将所计算的值输出到虚拟视角图像生成单元105，作为最终可信度信息。

R＝α0·R0+α1·R1+α2·R2+α3·R3+α4·R4

应当注意，虽然图6示出了第一至第五可信度计算部171至175这五种可信度计算部，但是其中利用一个或更多个可信度计算部、而非全部五个部分的配置也是可能的。可选地，其中应用其他可信度的配置也是可能的。

[5.关于虚拟视角图像生成单元的处理]

接下来，将描述图1所示的虚拟视角图像生成单元105的具体处理示例。

虚拟视角图像生成单元105通过接收下列信息的输入而生成虚拟视角图像，这些信息包括：

来自左视角图像(L图像)输入单元101的L图像；

来自右视角图像(R图像)输入单元102的R图像；

来自视差估计单元103的视差信息；以及

来自可信度计算单元104的可信度信息。

虚拟视角图像生成单元105根据从可信度计算单元104输入的可信度信息执行确定虚拟视角位置的处理，然后生成与确定的虚拟视角位置对应的虚拟视角图像。

虚拟视角图像生成单元105根据从可信度计算单元104输入的可信度 信息来调节视差量，换言之，确定待生成的虚拟视角位置(相位)，然后生成与确定的虚拟视角位置(相位)对应的虚拟视角图像。

具体地，虚拟视角图像生成单元105通过例如当从可信度计算单元104输入的可信度高时将生成的虚拟视角图像的视差间隔设置得宽、而当可信度低时将视差间隔设置得窄，来生成虚拟视角图像。

下文中，将按顺序描述虚拟视角图像生成单元105的多个具体配置的示例。

(5-1.根据从可信度计算单元输入的可信度信息来确定虚拟视角位置的配置示例)

将参照图22来描述虚拟视角图像生成单元105的一个示例。

如图22所示，本示例的虚拟视角图像生成单元105具有视差调节部311和图像合成部312。

视差调节部311接收可信度计算单元104所计算的可信度信息，换言之，视差估计单元103所生成的估计视差信息的可信度的输入。

可信度例如是如前所述的多个不同可信度信息(R0至R4)的加权相加的值。具体地，输入根据下列表达式计算的可信度R：

可信度R＝α0·R0+α1·R1+α2·R2+α3·R3+α4·R4，

其中，α0、α1、α2、…为预设的权重系数。

可信度R具有从0到1的值，且R＝1为最高可信度，而R＝0为最低可信度。

视差调节部311根据输入的可信度R确定应当生成的虚拟视角图像的视差，即待生成的虚拟视角图像的位置(相位)。

具体地，根据具有从0到1的值的可信度R，执行如图23所示的确定虚拟视角位置的处理。

图23是示出在其中可信度R＝0至1的情况下设置虚拟视角图像位置的示例的图。

视角位置0是对应于输入L图像的视角位置；以及

视角位置1是对应于输入R图像的视角位置。

换言之，在可信度＝1的线上，

图像b321对应于从左视角图像(L图像)输入单元101输入的输入L图像；以及

图像h322对应于从右视角图像(R图像)输入单元102输入的输入R图像。

当可信度计算单元104所计算的可信度R的信息具有最可靠值或R＝1时，在可信度＝1的线上的其他纵向线指示虚拟视角图像生成单元105所生成的虚拟视角图像的位置(相位)。

在该示例中，设置生成并输出包括输入L和R图像在内的具有从a到i的九个不同视角的图像。

当可信度计算单元104所计算的可信度R的信息满足条件R＝1时，视差调节部311将图23上部的图像a到i确定为虚拟视角图像的设置位置，并将虚拟视角位置的信息输出到图22所示的图像合成部312。

图22所示的图像合成部312基于从视差调节部311输入的虚拟视角图像的设置位置信息，通过应用输入L图像和输入R图像而生成与设置位置对应的虚拟视角图像。

应当注意，生成虚拟视角图像的处理是根据之前参照图3和4所描述的处理来执行的。

此外，当可信度计算单元104所计算的可信度R的信息满足R＝0.5(换言之，是中间可信度)时，视差调节部311将图23的中间部分的图像a2到i2确定为虚拟视角图像的设置位置，并将虚拟视角位置的信息输出到图22所示的图像合成部312。

图22所示的图像合成部312基于从视差调节部311输入的虚拟视角图像的设置位置的信息，通过应用输入L图像和输入R图像而生成与设置位置对应的虚拟视角图像。

如从附图中理解到，在中低可信度0.5的情况下，虚拟视角图像a2到i2的视差范围比在可信度R＝1的高可信度的情况下的虚拟视角图像a到i的视差范围窄。

此外，当可信度计算单元104所计算的可信度R的信息满足R＝0(换言之，不可靠)时，视差调节部311将图23下部的图像333确定为虚拟视角图像的设置位置，并将虚拟视角位置的信息输出到图22所示的图像合成部312。

图22所示的图像合成部312基于从视差调节部311输入的虚拟视角图像的设置位置的信息，通过应用输入L图像和输入R图像而生成与设置位置对应的虚拟视角图像。

应当注意，图23下部的图像333的图像位置对应于输入R图像的图像位置。换言之，在这种情况下，在不生成新的虚拟视角图像的情况下原样输出输入R图像。

应当注意，在这种情况下，虚拟视角图像生成单元105也原样输出输入L图像，因此仅将输入L图像和R图像输出在显示单元上。

视差调节部311根据以下算法来执行计算虚拟视角图像的设置位置(相位)的处理。

应当注意，在可信度R＝1的情况下生成的虚拟视角图像预先被确定。

图像是在图23所示的a到i的位置处。

将从可信度计算单元104输入的可信度信息设置为R。

然而，R＝0至1。

将可信度R＝1的情况下的虚拟视角图像位置(相位)设置为V0。

在这种情况下，基于以下表达式来计算根据可信度R设置的虚拟视角图像位置(相位)V。

V＝(V0-1)·R+1

图23所示的虚拟视角图像331的位置(相位)是要在可信度R＝1时输出的虚拟视角图像位置。

将虚拟视角图像位置(相位)V设置为0.3。

使用V的值，利用上述表达式计算当可信度R＝0至1时的虚拟视角图像位置(相位)。

当可信度＝0.5时，例如，可以基于上述表达式利用虚拟视角图像331的位置(相位)V即0.3，来计算图23所示的虚拟视角图像位置332(d2)的位置(V)。换言之，

V＝(V0-1)·R+1

＝(0.3-1)·0.5+1

＝0.85。

例如，当可信度＝0时，可以基于上述表达式利用虚拟视角图像331的位置(相位)V即0.3，来计算图23中所示的虚拟视角图像位置333(d3)的位置(V)。换言之，

V＝(V0-1)·R+1

＝(0.3-1)·0+1

＝1。

以这种方式，视差调节部311接收可信度计算单元104所计算的可信度R的信息的输入，然后根据输入的可信度R的信息的值来确定虚拟视角图像的设置位置，然后将虚拟视角位置信息输出到图22所示的图像合成部312。

图22所示的图像合成部312基于从视差调节部311输入的虚拟视角图像的设置位置信息，通过应用输入L图像和输入R图像而生成与设置位置对应的虚拟视角图像。

(5-2.根据关于在可信度和最佳视差量之间的对应关系的信息和从可信度计算单元输入的可信度信息来确定虚拟视角位置的配置示例)

接下来，将参照图24来描述根据关于在可信度和最佳视差量之间的对应关系的信息和从可信度计算单元输入的可信度信息来确定虚拟视角位置的虚拟视角图像生成单元105的示例。

如图24所示，本示例的虚拟视角图像生成单元105具有如参照图22所描述的视差调节部311和图像合成部312，并且还具有其中存储关于在可信度和最佳视差量之间的对应关系的信息的可信度数据库313。

视差调节部311接收可信度计算单元104所计算的可信度信息(换言之，视差估计单元103所生成的估计视差信息的可信度)的输入。

可信度例如是如前所述的多个不同可信度信息(R0至R4)的加权相加的值。具体地，输入根据下列表达式计算的可信度R：

可信度R＝α0·R0+α1·R1+α2·R2+α3·R3+α4·R4，

其中，α0、α1、α2、…为预设的权重系数。

可信度R具有从0到1的值，且R＝1为最高可信度，而R＝0为最低可信度。

视差调节部311接收以下输入：

可信度计算单元104所计算的可信度R；以及

来自可信度数据库313的关于在可信度和最佳视差量之间的对应关系的信息。

视差调节部311基于这些信息计算调节后的可信度，并确定要生成的虚拟视角图像的视差，即，要基于调节后的可信度而生成的虚拟视角图像的位置(相位)。

可信度数据库313存储与最佳视差量的对应关系的信息的关系数据。数据例如如图25所示。

数据是以如下方式获得的：观察者观察预先准备的学习数据，例如具有各种可信度的视差的学习数据，并将观察者利用其能够舒适地观察3D图像的视差确定为最佳视差量。

视差调节部311获取存储在可信度数据库313中的与最佳视差量的对应关系的信息的关系数据，然后计算与可信度计算单元104所计算的可信度R对应的系数p。系数p是可信度R的乘子，并且是用于计算用于设置最佳视差量的调节后的可信度pR的系数。系数p是通过应用回归分析处理(例如，最小二乘法)而获得的。

视差调节部311通过用可信度计算单元104所计算的可信度R乘以计算的系数p来计算调节后的可信度pR。根据调节后的可信度pR，如图26所示执行确定虚拟视角位置的处理。

图26是示出在其中调节后的可信度pR为0至1的情况下设置虚拟视角图像位置的示例的图。

视角位置0是对应于输入L图像的视角位置；以及

视角位置1是对应于输入R图像的视角位置。

换言之，在调节后的可信度＝1的线上，

图像b321对应于从左视角图像(L图像)输入单元101输入的输入L图像；以及

图像h322对应于从右视角图像(R图像)输入单元102输入的输入R图像。

当调节后的可信度pR的信息具有最可靠值、或pR＝1时，在可信度＝1的线上的其他纵向线指示虚拟视角图像生成单元105所生成的虚拟视 角图像的位置(相位)。

在该示例中，设置生成并输出包括输入L和R图像在内的具有从a到i的九个不同视角的图像。

当调节后的可信度pR的信息满足pR＝1时，视差调节部311将图23上部的图像a到i确定为虚拟视角图像的设置位置，并将虚拟视角位置信息输出到图24所示的图像合成部312。

图24所示的图像合成部312基于从视差调节部311输入的虚拟视角图像的设置位置信息，通过应用输入L图像和输入R图像而生成与设置位置对应的虚拟视角图像。

应当注意，生成虚拟视角图像的处理是根据之前参照图3和4所描述的处理来执行的。

此外，当调节后的可信度pR的信息满足pR＝0.5(换言之，是中间可信度)时，视差调节部311将图26的中间部分的图像a2到i2确定为虚拟视角图像的设置位置，并将虚拟视角位置的信息输出到图24所示的图像合成部312。

图24所示的图像合成部312基于从视差调节部311输入的虚拟视角图像的设置位置的信息，通过应用输入L图像和输入R图像而生成与设置位置对应的虚拟视角图像。

如从附图中理解到的，在中低可信度0.5的情况下，虚拟视角图像a2到i2的视差范围比在可信度R＝1的高可信度的情况下的虚拟视角图像a到i的视差范围窄。

此外，当调节后的可信度pR的信息满足pR＝0(换言之，不可靠)时，视差调节部311将图26下部的图像333确定为虚拟视角图像的设置位置，并将虚拟视角位置的信息输出到图24所示的图像合成部312。

图24所示的图像合成部312基于从视差调节部311输入的虚拟视角图像的设置位置的信息，通过应用输入L图像和输入R图像而生成与设置位置对应的虚拟视角图像。

应当注意，图26下部的图像333的图像位置对应于输入R图像的图像位置。换言之，在这种情况下，在不生成新的虚拟视角图像的情况下原样输出了输入R图像。

应当注意，在这种情况下，虚拟视角图像生成单元105也原样输出输 入L图像，因此，仅将输入L图像和R图像输出在显示单元上。

如上所述，在本示例中，视差调节部311接收可信度计算单元104所计算的可信度R以及来自可信度数据库313的可信度和最佳视差量之间的对应关系的信息的输入。

视差调节部311基于以上信息计算调节后的可信度，并确定应当生成的虚拟视角图像的视差，即要基于调节后的可信度生成的虚拟视角图像的位置(相位)。

(5-3.关于其中包括应用LPF的视差信息转换以及转换虚拟视角图像的处理的示例)

接下来，将参照图27来描述其中包括应用LPF(低通滤波器)的视差信息转换以及转换虚拟视角图像的处理的虚拟视角图像生成单元的示例。

图27所示的虚拟视角图像生成单元105具有第一LPF(低通滤波器)331、视差信息选择部332、图像合成部333、第二LPF(低通滤波器)334以及虚拟视角图像选择部335。

第一LPF(低通滤波器)331通过接收视差估计单元103所生成的估计视差信息的输入来应用LPF。利用LPF的应用，视差信息的激烈变化部分被转换以便缓慢地变化。

将第一LPF(低通滤波器)331生成的应用LPF的估计视差信息输入到视差信息选择部332。

视差信息选择部332接收下列信息的输入：

(a)视差估计单元103所生成的估计视差信息(视差图)；

(b)第一LPF(低通滤波器)331所生成的应用LPF的估计视差信息；以及

(c)可信度计算单元104所计算的可信度R的信息。

视差信息选择部332对以上信息的输入执行以下处理。

对于具有高可信度的像素，其中(c)可信度计算单元104所计算的可信度R的信息等于或高于预设阈值，选择与包括在视差估计单元103所生成的估计视差信息(视差图)中的像素对应的视差信息并将该视差信息输出到图像合成部333。

另一方面，对于具有低可信度的像素，其中(c)可信度计算单元104所计算的可信度R的信息小于预设阈值，选择与包括在(b)第一LPF(低通滤波器)331所生成的应用LPF的估计视差信息中的像素对应的视差信息并将该视差信息输出到图像合成部333。

输出的信息被输入到图像合成部333。

图像合成部333基于视差信息生成虚拟视角图像。

生成虚拟视角图像的处理是根据之前参照图3和4所描述的处理，利用输入L和R图像执行的。

将图像合成部333生成的虚拟视角图像输入到第二LPF 334以及虚拟视角图像选择部335。

第二LPF 334对图像合成部333生成的虚拟视角图像应用LPF。通过LPF应用处理，虚拟视角图像中的激烈变化像素值部分被转换以便缓慢地变化。

将第二LPF 334生成的应用LPF的虚拟视角图像输入到虚拟视角图像选择部335。

虚拟视角图像选择部335接收下列信息的输入：

(d)图像合成部333生成的虚拟视角图像；

(e)第二LPF 334生成的应用LPF的虚拟视角图像；以及

(f)可信度计算单元104所计算的可信度R的信息。

虚拟视角图像选择部335对以上信息的输入执行以下处理。

对于具有高可信度的像素，其中(f)可信度计算单元104所计算的可信度R的信息等于或高于预设阈值，选择(d)图像合成部333生成的虚拟视角图像的像素信息，并将该像素信息作为待输出的虚拟视角图像的构成像素输出。

另一方面，对于具有低可信度的像素，其中(f)可信度计算单元104所计算的可信度R的信息小于预设阈值，选择(e)第二LPF 334生成的应用LPF的虚拟视角图像的像素信息，并将该像素信息作为待输出的虚拟视角图像的构成像素输出。

图27所示的虚拟视角图像生成单元105通过如前所述地对其应用LPF来执行对视差信息的转换以及对虚拟视角图像的转换，由此生成虚 拟视角图像。

[6.关于其中执行分辨率转换以及利用对分辨率转换后的图像的应用来执行视差估计的示例]

接下来，将参照图28来描述其中执行分辨率转换以及利用对分辨率转换后的图像的应用来执行视差估计的示例。

除了由虚线所指示的区域401和可信度选择单元415之外，图28所示的图像处理装置400具有与图1所示的图像处理装置100相同的配置。

本示例的图像处理装置400具有包括被添加到图1所示的图像处理装置的配置的分辨率转换单元411、第二视差估计单元412、第二可信度计算单元413、分辨率逆转换单元414以及可信度选择单元415的配置。

分辨率转换单元411执行对从左视角图像(L图像)输入单元101输入的L图像和从右视角图像(R图像)输入单元102输入的R图像的分辨率转换。

具体地，由输入L和R图像生成具有低分辨率的图像。

第二视差估计单元412利用分辨率转换单元411所生成的具有低分辨率的L和R图像来估计视差。生成基于具有低分辨率的图像的估计视差信息。

将估计视差信息输入到第二可信度计算单元413。

第二可信度计算单元413计算第二视差估计单元412生成的估计视差信息的可信度。如之前参照图6至21所描述的处理一样来执行计算可信度的处理。换言之，计算多个不同可信度(R0至R4)，利用预设权重α0至α4来执行加权相加，由此计算可信度。

以具有低分辨率的图像的像素为单位来设置可信度。

将可信度的信息输入到分辨率逆转换单元414。

分辨率逆转换单元414对与每个像素的对应的可信度的信息执行与分辨率转换单元411所执行的分辨率转换相逆的分辨率转换处理，以执行恢复到原始输入图像的像素数量的处理。

将分辨率逆转换处理所生成的可信度的第二信息输入到可信度选择单元415。

附图中所示的第一视差估计单元103执行与参照图1所描述的处理相 同的处理，并在此后由此基于输入L和R图像而生成估计视差信息。

第一可信度计算单元104也执行与参照图1所描述的处理相同的处理，并在此后由此来计算与第一视差估计单元103生成的以像素为单位的估计视差信息对应的可信度。如之前参照图6至21所描述的处理一样来执行计算。换言之，计算多个不同可信度(R0至R4)，利用预设权重α0至α4来执行加权相加，并由此计算可信度。

将第一可信度计算单元104计算的第一可信度输入到可信度选择单元415。

可信度选择单元415接收下列信息的输入：

(a)与基于输入L和R图像的估计视差信息对应的、第一可信度计算单元104所计算的第一可信度的信息；以及

(b)与基于低分辨率L和R图像的估计视差信息对应的、第二可信度计算单元413所计算的第二可信度的信息，

换言之，可信度选择单元415接收与每个像素对应的两个可信度信息的输入。

可信度选择单元415通过比较以像素为单位的两个可信度信息而选择较高可信度的信息，然后将较高可信度的信息作为像素的可信度的信息输出。

将选择的以像素为单位的可信度的信息输入到虚拟视角图像生成单元105。

虚拟视角图像生成单元105执行之前参照图22至27所描述的处理，由此来执行参照可信度的信息生成虚拟视角图像的处理。

将虚拟视角图像生成单元105生成的虚拟视角图像经由显示控制单元106输出并显示到显示单元110上。

如上所述，在本示例的配置中，通过执行下列两个处理来生成根据每个像素的两个可信度信息：

基于分辨率转换前的图像的视差估计和可信度信息计算处理；以及

基于通过向低分辨率的转换而获得的低分辨率图像的视差估计和可信度信息计算处理。

此外，在两个可信度信息中，使用以像素为单位的较高可信度信息作 为最终可信度信息。

利用这些处理，可以降低由例如局部图像误差等引起的视差估计中的误差的影响等。

应当注意，如上所述，本公开的图像处理装置生成的显示图像是用户可以利用其在不佩戴眼镜的情况下观看到立体图像的裸眼3D显示装置的显示图像。

显示单元110是执行裸眼3D显示的显示单元，并且是在显示面上包括例如透镜片或视差屏障并能够根据观看位置来控制左眼和右眼所看见的图像的显示单元。

显示控制单元106将虚拟视角图像生成单元105所生成的具有N个视角的图像输出到显示单元110。

应当注意，显示控制单元106根据显示单元110的显示配置而生成显示信息。

应当注意，也可以将图像处理装置配置为例如成像装置比如摄像装置、PC或者显示装置比如具有成像单元的电视机，以及可以设置图像处理装置100以将其配置成具有根据当图像处理装置被配置为以上装置之一时的每个装置的功能。

例如，将摄像装置配置成具有从不同视角拍摄L和R图像来作为图像的成像单元，并利用从成像单元输入的L和R图像来生成多视角图像。

[7.本公开的配置的总结]

上文中，已参照具体示例详细描述了本公开的实施例。然而，本领域的技术人员显然可以在不脱离本公开的要旨的范围内修改或替换示例。换言之，本公开是以范例的形式公开的，并且不应当被局限性地解释。当确定本公开的要旨时，应当考虑权利要求。

此外，也可以如下来配置本技术。

(1)一种图像处理装置，包括：

左视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于左眼的图像信号的左视角图像(L图像)；

右视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于右眼的图像信号的右视角图像(R图像)；

视差估计单元，被配置为根据所述左视角图像(L图像)和所述右视角图像(R图像)生成视差信息；

可信度计算单元，被配置为计算所述视差估计单元生成的所述视差信息的可信度；以及

虚拟视角图像生成单元，被配置为通过接收所述左视角图像(L图像)、所述右视角图像(R图像)、所述视差信息和所述可信度的输入来生成包括除了输入的L图像和R图像的视角之外的视角图像的虚拟视角图像，

其中，所述虚拟视角图像生成单元生成所述虚拟视角图像，以使得待生成的所述虚拟视角图像的视差间隔在所述可信度高时被设置得宽以及在所述可信度低时设置得窄。

(2)根据(1)所述的图像处理装置，其中，所述可信度计算单元通过多个不同的可信度计算处理来计算多个可信度信息，然后通过对多个计算的可信度信息的加权相加来计算最终可信度。

(3)根据(1)或(2)所述的图像处理装置，其中，所述可信度计算单元根据残差分量的量来执行可信度计算，所述残差分量的量由输入的图像和根据所述视差估计单元所估计的所述视差信息而由视差补偿生成的视差补偿图像之间的差的计算所获得。

(4)根据(3)所述的图像处理装置，其中，所述可信度计算单元在根据所述残差分量的可信度计算处理中，根据所述左视角图像(L图像)或所述右视角图像(R图像)的以像素区域为单位的空间活动性而改变可信度计算的方面。

(5)根据(3)所述的图像处理装置，其中，所述可信度计算单元在根据所述残差分量的可信度计算处理中，根据所述左视角图像(L图像)或所述右视角图像(R图像)的以像素区域为单位的动态范围而改变可信度计算的方面。

(6)根据(1)至(5)中的任意一项所述的图像处理装置，其中，所述可信度计算单元根据所述视差估计单元所估计的所述视差信息的水平相邻像素的视差之差来执行可信度计算。

(7)根据(1)至(6)中的任意一项所述的图像处理装置，其中，所述可信度计算单元根据所述视差估计单元所估计的所述视差信息的垂直相邻像素的视差之差来执行可信度计算。

(8)根据(1)至(7)中的任意一项所述的图像处理装置，其中，所述可信度计算单元根据所述视差估计单元所估计的所述视差信息是否达到预设的上限值或下限值来执行可信度计算。

(9)根据(1)至(8)中的任意一项所述的图像处理装置，其中，所述可信度计算单元根据所述视差估计单元基于从所述左视角图像(L图像)输入单元输入的所述左视角图像(L图像)估计的所述视差信息和所述视差估计单元基于从所述右视角图像(R图像)输入单元输入的所述右视角图像(R图像)估计的所述视差信息的匹配来执行可信度计算。

(10)根据(1)至(9)中的任意一项所述的图像处理装置，其中，所述虚拟视角图像生成单元具有视差调节部和图像合成部，所述视差调节部被配置为确定所述虚拟视角图像的视差位置，以使得根据所述可信度计算单元计算的所述可信度、要生成的虚拟视角图像的视差间隔在所述可信度高时被设置得宽以及在所述可信度低时被设置得窄，以及所述图像合成部被配置为根据所述视差调节部所确定的所述视差位置生成所述虚拟视角图像。

(11)根据(10)所述的图像处理装置，

其中，所述虚拟视角图像生成单元具有其中存储所述可信度和最佳视差量的对应信息的可信度数据库，以及

其中，所述视差调节部根据从所述可信度计算单元输入的所述可信度，通过应用存储在所述可信度数据库中的所述可信度和最佳视差量的对应信息来获取所述最佳视差量，然后根据所获取的视差量来确定虚拟视角图像位置。

(12)根据(1)至(11)中的任意一项所述的图像处理装置，其中，对于下列两个视差信息(a)和(b)：

(a)所述视差估计单元所估计的所述视差信息；以及

(b)被配置成作为对被配置为将所述视差信息表示为图像的视差图应用低通滤波器(LPF)的结果的应用LPF的视差信息，

所述虚拟视角图像生成单元还具有视差信息选择部和图像合成部，所述视差信息选择部被配置为对具有高可信度的像素选择所述视差信息以及对具有低可信度的像素选择所述应用LPF的视差信息，所述图像合成部被配置为基于所述视差信息选择部所选择的所述视差信息来生成虚拟视角图像。

(13)根据(1)至(12)中的任意一项所述的图像处理装置，其中，对于下列两个虚拟视角图像(a)和(b)：

(a)所述图像合成部所生成的虚拟视角图像；以及

(b)被配置成作为对所述图像合成部生成的所述虚拟视角图像应用LPF的结果的应用低通滤波器(LPF)的虚拟视角图像，

所述虚拟视角图像生成单元还具有虚拟视角图像选择部，所述虚拟视角图像选择部被配置为对于具有高可信度的像素选择所述虚拟视角图像以及对于具有低可信度的像素选择所述应用LPF的虚拟视角图像。

(14)一种图像处理装置，包括：

左视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于左眼的图像信号的左视角图像(L图像)；

右视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于右眼的图像信号的右视角图像(R图像)；

第一视差估计单元，被配置为根据所述左视角图像(L图像)和所述右视角图像(R图像)生成视差信息；

第一可信度计算单元，被配置为计算所述第一视差估计单元生成的所述视差信息的第一可信度；

分辨率转换单元，被配置为执行对所述左视角图像(L图像)和所述右视角图像(R图像)的分辨率转换；

第二视差估计单元，被配置为基于从所述分辨率转换单元输出的具有低分辨率的左视角图像(L图像)和右视角图像(R图像)来执行对视差信息的估计；

第二可信度计算单元，被配置为计算所述第二视差估计单元生成的第二视差信息的第二可信度；

分辨率逆转换单元，被配置为执行所述分辨率转换的逆转换；

可信度选择单元，被配置为选择并输出通过将所述第一可信度与所述第二可信度进行比较而获得的较高的可信度，来作为最终可信度；以及

虚拟视角图像生成单元，被配置为通过接收所述左视角图像(L图像)、所述右视角图像(R图像)、所述视差信息和所述最终可信度的输入来生成包括除了输入的L和R图像的视角之外的视角图像的虚拟视角图 像，

其中，所述虚拟视角图像生成单元生成所述虚拟视角图像，以使得要生成的所述虚拟视角图像的视差间隔在所述最终可信度高时被设置得宽以及在所述最终可信度低时被设置得窄。

此外，由以上描述的装置等所执行的处理的方法以及使得处理被执行的程序也包括在本公开的配置中。

此外，说明书中所说明的处理序列可以通过硬件、通过软件以及通过组合了硬件和软件的配置来实现。在通过软件来实现处理的情况下，可以在合并到专用硬件中的计算机内的存储器中安装其中编码有处理序列的程序并执行该程序。也可以在能够执行各种类型的处理的通用计算机中安装程序并执行该程序。例如，程序可以预先安装在存储介质中。除了从存储介质安装在计算机中之外，程序也可以通过诸如局域网(LAN)或互联网的网络来接收，以及可以被安装在诸如内置在计算机中的硬盘等的存储介质中。

注意，该说明书中所描述的各种类型的处理不仅可以按照如已经描述过的时间顺序来执行，而且也可以根据执行处理的装置的处理能力或根据需要而并行地或单独地执行。此外，该说明书中的系统并不限于逻辑上聚集多个装置、且所有这些装置都包含在相同外壳内的配置。

工业实用性

如上文所述，根据本公开的实施例的配置，实现了其中基于作为三维图像的L和R图像而生成根据估计视差的可信度的最佳多视角图像的配置。

具体地，输入要应用于三维图像显示的左视角图像(L图像)和右视角图像(R图像)，基于左视角图像(L图像)和右视角图像(R图像)生成视差信息，然后计算生成的视差信息的可信度。通过例如多个不同的分析处理计算多个不同可信度，然后通过对多个计算的可信度的加权相加计算最终可信度。根据计算的可信度改变虚拟视角图像的生成方面。当可信度高时，例如，将虚拟视角图像的视差间隔设置得宽，而当可信度低时，将视差间隔设置得窄。

利用这些处理，可以根据估计视差的可信度来生成最佳多视角图像。

附图标记列表

100 图像处理装置

101 左视角图像(L图像)输入单元

102 右视角图像(R图像)输入单元

103 视差估计单元

104 可信度计算单元

105 虚拟视角图像生成单元

106 显示控制单元

110 显示单元

121 块

131 输入L图像

132 输入R图像

133 虚拟视角图像

171 第一可信度(R0)计算部

172 第二可信度(R1)计算部

173 第三可信度(R2)计算部

174 第四可信度(R3)计算部

175 第五可信度(R4)计算部

181 算术运算部

201 输入L图像

202 估计视差信息

203 视差补偿图像

204 输入R图像

205 残差图

211 输入L图像

212 估计视差信息

213

214 残差图

232 估计视差信息

311 视差调节部

312 图像合成部

313 可信度数据库

331 第一LPF

332 视差信息选择部

333 图像合成部

334 第二LPF

335 虚拟视角图像选择部

411 分辨率转换单元

412 第二视差估计单元

413 第二可信度计算单元

414 分辨率逆转换单元

415 可信度选择单元

Claims (15)

1.一种图像处理装置，包括：

左视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于左眼的图像信号的左视角图像；

右视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于右眼的图像信号的右视角图像；

视差估计单元，被配置为根据所述左视角图像和所述右视角图像生成视差信息；

可信度计算单元，被配置为计算所述视差估计单元生成的所述视差信息的可信度；以及

虚拟视角图像生成单元，被配置为通过接收所述左视角图像、所述右视角图像、所述视差信息和所述可信度的输入来生成包括除了输入的左视角图像和右视角图像的视角之外的视角图像的虚拟视角图像，

其中，所述虚拟视角图像生成单元生成所述虚拟视角图像，以使得待生成的所述虚拟视角图像的视差间隔在所述可信度高时被设置得宽以及在所述可信度低时设置得窄。

2.根据权利要求1所述的图像处理装置，其中，所述可信度计算单元通过多个不同的可信度计算处理来计算多个可信度信息，然后通过对多个计算的可信度信息的加权相加来计算最终可信度。

3.根据权利要求1所述的图像处理装置，其中，所述可信度计算单元根据残差分量的量来执行可信度计算，所述残差分量的量由输入的图像和根据所述视差估计单元所估计的所述视差信息而由视差补偿生成的视差补偿图像之间的差的计算所获得。

4.根据权利要求3所述的图像处理装置，其中，所述可信度计算单元在根据所述残差分量的可信度计算处理中，根据所述左视角图像或所述右视角图像的以像素区域为单位的空间活动性而改变所述可信度计算。

5.根据权利要求3所述的图像处理装置，其中，所述可信度计算单元在根据所述残差分量的可信度计算处理中，根据所述左视角图像或所述右视角图像的以像素区域为单位的动态范围而改变所述可信度计算。

6.根据权利要求1所述的图像处理装置，其中，所述可信度计算单元根据所述视差估计单元所估计的所述视差信息的水平相邻像素的视差之差来执行可信度计算。

7.根据权利要求1所述的图像处理装置，其中，所述可信度计算单元根据所述视差估计单元所估计的所述视差信息的垂直相邻像素的视差之差来执行可信度计算。

8.根据权利要求1所述的图像处理装置，其中，所述可信度计算单元根据所述视差估计单元所估计的所述视差信息是否达到预设的上限值或下限值来执行可信度计算。

9.根据权利要求1所述的图像处理装置，其中，所述可信度计算单元根据所述视差估计单元基于从所述左视角图像输入单元输入的所述左视角图像估计的所述视差信息和所述视差估计单元基于从所述右视角图像输入单元输入的所述右视角图像估计的所述视差信息的匹配来执行可信度计算。

10.根据权利要求1所述的图像处理装置，其中，所述虚拟视角图像生成单元具有视差调节部和图像合成部，所述视差调节部被配置为确定所述虚拟视角图像的视差位置，以使得根据所述可信度计算单元计算的所述可信度、要生成的虚拟视角图像的视差间隔在所述可信度高时被设置得宽以及在所述可信度低时被设置得窄，以及所述图像合成部被配置为根据所述视差调节部所确定的所述视差位置生成所述虚拟视角图像。

11.根据权利要求10所述的图像处理装置，

其中，所述虚拟视角图像生成单元具有其中存储所述可信度和最佳视差量的对应信息的可信度数据库，以及

其中，所述视差调节部根据从所述可信度计算单元输入的所述可信度，通过应用存储在所述可信度数据库中的所述可信度和最佳视差量的对应信息来获取所述最佳视差量，然后根据所获取的视差量来确定虚拟视角图像位置。

12.根据权利要求1所述的图像处理装置，其中，对于下列视差信息a和视差信息b：

视差信息a：所述视差估计单元所估计的所述视差信息；以及

视差信息b：被配置成作为对被配置为将所述视差信息表示为图像的视差图应用低通滤波器的结果的应用低通滤波器的视差信息，

所述虚拟视角图像生成单元还具有视差信息选择部和图像合成部，所述视差信息选择部被配置为对具有高可信度的像素选择所述视差信息以及对具有低可信度的像素选择所述应用低通滤波器的视差信息，所述图像合成部被配置为基于所述视差信息选择部所选择的所述视差信息来生成虚拟视角图像。

13.根据权利要求1所述的图像处理装置，其中，对于下列虚拟视角图像a和虚拟视角图像b：

虚拟视角图像a：所述图像合成部所生成的虚拟视角图像；以及

虚拟视角图像b：被配置成作为对所述图像合成部生成的所述虚拟视角图像应用低通滤波器的结果的应用低通滤波器的虚拟视角图像，

所述虚拟视角图像生成单元还具有虚拟视角图像选择部，所述虚拟视角图像选择部被配置为对于具有高可信度的像素选择所述虚拟视角图像以及对于具有低可信度的像素选择所述应用低通滤波器的虚拟视角图像。

14.一种图像处理装置，包括：

左视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于左眼的图像信号的左视角图像；

右视角图像输入单元，被配置为输入要应用于三维图像显示的作为用于右眼的图像信号的右视角图像；

第一视差估计单元，被配置为根据所述左视角图像和所述右视角图像生成视差信息；

第一可信度计算单元，被配置为计算所述第一视差估计单元生成的所述视差信息的第一可信度；

分辨率转换单元，被配置为执行对所述左视角图像和所述右视角图像的分辨率转换；

第二视差估计单元，被配置为基于从所述分辨率转换单元输出的具有低分辨率的左视角图像和右视角图像来执行对视差信息的估计，以生成第二视差信息；

第二可信度计算单元，被配置为计算所述第二视差估计单元生成的所述第二视差信息的第二可信度；

分辨率逆转换单元，被配置为执行所述分辨率转换的逆转换；

可信度选择单元，被配置为选择并输出通过将所述第一可信度与所述第二可信度进行比较而获得的较高的可信度，来作为最终可信度；以及

虚拟视角图像生成单元，被配置为通过接收所述左视角图像、所述右视角图像、所述视差信息和所述最终可信度的输入来生成包括除了输入的左视角图像和右视角图像的视角之外的视角图像的虚拟视角图像，

其中，所述虚拟视角图像生成单元生成所述虚拟视角图像，以使得要生成的所述虚拟视角图像的视差间隔在所述最终可信度高时被设置得宽以及在所述最终可信度低时被设置得窄。

15.一种在图像处理装置中执行的图像处理方法，包括：

通过图像输入单元输入要应用于三维图像显示的、作为用于左眼的图像信号的左视角图像和作为用于右眼的图像信号的右视角图像；

通过视差估计单元根据所述左视角图像和所述右视角图像生成视差信息；

通过可信度计算单元计算所述视差估计单元生成的所述视差信息的可信度；以及

通过虚拟视角图像生成单元通过接收所述左视角图像、所述右视角图像、所述视差信息和所述可信度的输入，来执行用于生成包括除了输入的左视角图像和右视角图像的视角之外的视角图像的虚拟视角图像的虚拟视角图像生成处理，

其中，所述虚拟视角图像生成单元生成所述虚拟视角图像，以使得要生成的所述虚拟视角图像的视差间隔在所述可信度高时被设置得宽以及在所述可信度低时被设置得窄。