CN103106652A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

一种图像处理设备包括：图像获取部件，获取基础图像和参考图像，在所述基础图像和参考图像中，在彼此不同的水平位置绘制了相同的对象；和视差检测部件，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从参考像素组中检测作为与构成基础图像的基础像素对应的像素的候选者的候选像素，其中所述第一参考像素构成参考图像以及所述第二参考像素的垂直位置不同于所述第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者、与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开涉及一种图像处理设备、一种图像处理方法和程序。

背景技术

已经使用了能够在不使用用于三维观看的特制眼镜的情况下而三维地显示图像的裸眼3D显示装置。该裸眼3D显示装置获得多幅图像，在所述多幅图像中在不同的水平位置绘制了相同的对象。然后，该裸眼3D显示装置将对象图像彼此进行比较，其中每一幅对象图像都是其中绘制了该对象的一部分图像，并且检测所述对象图像的水平位置中的不一致，即水平视差。随后，该裸眼3D显示装置基于检测到的水平视差和所述获得的图像产生多个多视角（multi-view）图像，并三维显示这样的多视角图像。关于裸眼3D显示装置检测水平视差所使用的方法，已经使用日本专利No.4410007中公开的整体匹配（global matching）。

发明内容

但是，在整体匹配中，如果在垂直方向上所述对象图像的位置彼此不一致（几何学上不一致），则会出现视差检测的健壮度和精确度显著恶化的问题。因此，存在着对能够高健壮度和高精确度地检测水平视差的技术的需求。

本公开的实施例针对一种图像处理设备，其包括：图像获取部件，获取基础图像和参考图像，在基础图像和参考图像中在彼此不同的水平位置绘制了相同的对象；以及视差检测部件，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像并且第二参考像素的垂直位置不同于第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。

本公开的另一实施例针对一种图像处理方法，其包括：获取基础图像和参考图像，在基础图像和参考图像中在彼此不同的水平位置绘制了相同的对象；基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像并且第二参考像素的垂直位置不同于第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。

本公开的再一实施例针对一种用于使计算机执行如下的程序：图像获取功能，获取基础图像和参考图像，在基础图像和参考图像中在彼此不同的水平位置绘制了相同的对象；以及视差检测功能，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像并且第二参考像素的垂直位置不同于第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。

在本公开的实施例中，从包括第一参考像素和第二参考像素的参考像素组中检测作为所述对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像，而第二参考像素的垂直位置不同于第一参考像素的垂直位置。此外，在本公开的实施例中，在存储部件中存储垂直视差候选者，该垂直视差候选者指示从基础像素的垂直位置到候选像素的垂直位置的距离。如上所述，在本公开的实施例中，在垂直方向上执行对作为对应像素的候选者的候选像素的搜索，并且将作为所述搜索的结果的垂直视差候选者存储在存储部件中。

如上所述，在本公开的实施例中，可以在参考图像的垂直方向中搜索候选像素，如此可以高健壮度和高精确度地检测水平视差。

附图说明

图1是示出使用该裸眼3D显示装置的处理的简要综述的流程图；

图2A和2B是示出输入图像之间的颜色不一致的说明图；

图3A和3B是示出输入图像之间的几何不一致的说明图；

图4是示出产生视差图和多视角图像的情形的说明图；

图5是示出根据本公开的实施例的图像处理设备的配置的框图；

图6是示出第一视差检测部件的配置的框图；

图7是示出垂直视差候选者存储表的例子的说明图；

图8是示出路径建立部分的配置的说明图；

图9是当执行视差匹配时使用的DP图；

图10是示出估值部件的配置的框图；

图11是示出神经网络处理部分的配置的框图；

图12是示出使用边缘化处理部分的处理的说明图；

图13是示出相对可靠性图的例子的说明图；

图14是示出分类表的例子的说明图；

图15是示出分类为类0的图像的例子的说明图；

图16是示出分类为类4的图像的例子的说明图；

图17是示出偏移对应表的例子的说明图；

图18是示出视差检测的过程的流程图；以及

图19是示出随着时间的推移而改善视差图的精确度的情形的说明图。

具体实施方式

在下文中，参照附图，将详细描述本公开的优选实施例。此外，在本说明书和附图中，如果某些组件实际具有相同的功能结构，则用相同的参考数字和符号来表示该组件，并且将省略其重复的描述。

另外，将按如下顺序进行描述。

1.裸眼3D显示装置执行的处理的简要概述

2.图像处理设备的配置

3.使用图像处理设备的处理

4.图像处理设备产生的优点

<1.裸眼3D显示装置执行的处理的简要概述>

作为重复彻底地试验能够在不使用用于三维观看的特制眼镜的情况下而三维显示图像的裸眼3D显示装置的结果，本申请的发明者提出了一种根据本实施例的图像处理设备。这里，3D显示表示通过对于观众造成双目视差而三维显示图像。

因此，首先，将参照图1中所示的流程图给出由包括图像处理设备的裸眼3D显示装置执行的处理的简要概述。

在步骤S1中，该裸眼3D显示装置获得输入图像V_L和V_R。图2A、2B和3A、3B示出输入图像V_L和V_R的例子。此外，在本实施例中，将输入图像V_L和V_R的左上角上的像素设置为原点，将水平方向设置为x轴，而将垂直方向设置为y轴。向右的方向是x轴的正方向，而向下的方向是y轴的正方向。每一像素具有坐标信息（x,y）和颜色信息（亮度，色度，色调）。在下文中，在输入图像V_L上的像素被称作“左侧像素”，而在输入图像V_R上的像素被称为“右侧像素”。此外，下面的描述将主要给出一个例子，其中将输入图像V_L设置为基础图像而将输入图像V_R设置为参考图像。但是，很明显可以将输入图像V_L设置为参考图像而将输入图像V_R设置为基础图像。

如图2A、2B和3A、3B中所示，在输入图像V_L和V_R中在彼此不同的水平位置（x坐标）绘制了相同的对象（例如海、鱼和企鹅）。

但是，如图2A和2B中所示，输入图像V_L和V_R之间存在颜色不一致。即，在输入图像V_L和输入图像V_R之间用不同的颜色来绘制所述对象。例如，对象图像V_L1和对象图像V_R1示出相同的海，但是其颜色不同。

另一方面，如图3A和3B中所示，输入图像V_L和V_R之间存在几何不一致。即，在不同的高度位置（y坐标）绘制了相同的对象。例如，对象图像V_L2和对象图像V_R2二者都示出企鹅，但是在对象图像V_L2的y坐标和对象图像V_R2的y坐标之间存在着差异。在图3A和3B中，为了便于理解所述几何不一致，绘制了直线L1。相应地，所述裸眼3D显示装置检测与这样的不一致相对应的视差。即，即使不执行对于所述颜色不一致和几何不一致的校正，所述裸眼3D显示装置也能够精确地检测出视差。

在步骤S2中，裸眼3D显示装置基于输入图像V_L和V_R来检测视差。在图4中示出视差检测的情形。

如图4中所示，裸眼3D显示装置从位于核线（epipolar line）EP_R1上或处于在垂直方向（y方向）上偏离核线EP_R1的位置的每一右侧像素中提取多个候选像素，作为与左侧像素P_L1对应的对应像素的候选者。另外，核线EP_R1是在输入图像V_R上绘制的直线，具有与左侧像素P_L1相同的y坐标，并在水平方向上延伸。此外，裸眼3D显示装置设置与输入图像V_L和V_R的颜色不一致对应的偏移，并基于该偏移来提取候选像素。

然后，裸眼3D显示装置从所述候选像素中提取右侧像素P_R1作为对应像素。裸眼3D显示装置将通过从右侧像素P_R1的x坐标减去左侧像素P_L1的x坐标得到的值设置为水平视差d1；而将通过从右侧像素_PR1的y坐标减去左侧像素P_L1的y坐标得到的值设置为垂直视差d2。

如上所述，裸眼3D显示装置在构成输入图像V_R的右侧像素中不仅搜索具有与左侧像素的y坐标相同的y坐标（垂直位置）的像素，还搜索具有与左侧像素的y坐标不同的y坐标的像素。相应地，裸眼3D显示装置能够检测与颜色不一致和几何不一致对应的视差。

裸眼3D显示装置从输入图像V_L上的所有像素检测水平视差d1和垂直视差d2，由此生成整体视差图。此外，如后面所述，裸眼3D显示装置通过使用不同于所述方法（即，整体匹配）的方法（即，局部匹配）来计算构成输入图像V_L的像素的水平视差d1和垂直视差d2。然后，裸眼3D显示装置基于通过局部匹配计算出的水平视差d1和垂直视差d2来生成局部视差图。随后，裸眼3D显示装置综合这样的视差图，从而生成综合视差图。图4示出作为综合视差图的例子的综合视差图DM。在图4中，通过影线（hatching）中的阴影量来指示水平视差d1的级别。

在步骤S3中，裸眼3D显示装置基于综合视差图以及输入图像V_L和V_R生成多个多视角图像V_V。例如，图4中示出的多视角图像V_V是在输入图像V_L和输入图像V_R之间内插的图像。相应地，与左侧像素P_L1对应的像素P_V1居于左侧像素P_L1和右侧像素PR1之间。

在此，各个多视角图像V_V是该裸眼3D显示装置三维显示的图像，并且对应于视角（观众的眼睛的位置）的各个不同点。即，观众的眼睛与其有视觉接触的各个多视角图像V_V，根据观众眼睛的位置而不同。例如，观众的右眼和左眼位于不同的位置，因此与各自的多视角图像V_V有视觉接触。从而，该观众能够三维地观看该多视角图像V_V。此外，即使当通过观众的移动而改变该观众的视角点时，如果存在着与该视角点对应的多视角图像V_V，则该观众能够三维地观看该多视角图像V_V。如上所述，随着多视角图像V_V数目的增加，观众能够从更多的位置三维地观看多视角图像VV。此外，随着多视角图像V_V数目的增加，反转观看（reverse viewing），即通过左眼观看本来要通过右眼观看的多视角图像V_V的现象不可能发生。此外，通过生成多个多视角图像V_V，可以表示运动视差。

在步骤S4中，裸眼3D显示装置执行后退（fallback)(细化）。这个处理是根据其内容再次校正多视角图像V_V的简要处理。在步骤S5中，裸眼3D显示装置三维地显示多视角图像V_V。

<2.图像处理设备的配置>

接下来，将参照附图描述根据本实施例的图像处理设备1的配置。如图5中所示，图像处理设备1包括：图像获取部件10；第一视差检测部件20；第二视差检测部件30；估值部件40；和图生成部件（偏移计算部件）50。也就是说，该图像处理设备1具有诸如CPU、ROM、RAM和硬盘的硬件配置，并且通过这样的硬件配置来具体实现各个组件。也就是说，在图像处理设备1中，ROM存储用于实现图像获取部件10、第一视差检测部件20、第二视差检测部件30、估值部件40和图生成部件50的程序。图像处理设备1执行上述步骤S1和S2中的处理。

图像处理设备1执行下面的处理。即，图像获取部件10获得输入图像V_L和V_R，并且输出它们至该图像处理设备1的各个组件。第一视差检测部件20执行输入图像V_L和V_R上的整体匹配，从而检测出用于构成输入图像V_L的每一左侧像素的水平视差d1和垂直视差d2。另一方面，第二视差检测部件30执行输入图像V_L和V_R上的局部匹配，从而检测出用于构成输入图像V_L的每一左侧像素的水平视差d1和垂直视差d2。

也就是说，图像处理设备1同时执行该整体匹配和局部匹配。此处，局部匹配具有以下优点：精确度不依赖于输入图像V_L和V_R的质量（颜色不一致、几何不一致等的程度），但也具有封闭（occlusion）上的缺点，即稳定性差（精确度容易不均）的缺点。相反地，整体匹配具有封闭上的优点，即稳定性上的优点，但也具有以下缺点：精确度容易依赖输入图像V_L和V_R的质量。因此，图像处理设备1同时执行两个匹配操作，提供从其结果获得的视差图，并综合该图。

[图像获取部件]

图像获取部件10获得输入图像V_L和V_R，并且输出它们至该图像处理设备1的各个组件。图像获取部件10可以从裸眼3D显示装置中的存储器中获得输入图像V_L和V_R，并且可以通过与其它装置的通信来获得它们。此外，在本实施例中，“当前帧”表示图像处理设备1当前正在对其执行操作的帧。“先前帧”表示前于当前帧一帧的帧。“后续帧”表示后于当前帧一帧的帧。当没有特别指定受到图像处理设备1处理的帧时，假定图像处理设备1对当前帧执行处理。

[第一视差检测部件的配置]

如图6中所示，第一视差检测部件20包括：垂直视差候选者存储器部分21；DSAD（Dynamic Sum of Absolute Difference，动态绝对差值和）计算部分22；最小值选择部分23；锚矢量建立部分24；成本计算部分25；路径建立部分26和回程（back-track）部分27。

[垂直视差候选者存储器部分的配置]

垂直视差候选者存储器部分21存储图7中示出的垂直视差候选者存储表。在垂直视差候选者存储表中，关联并记录水平视差候选者Δx和垂直视差候选者Δy。水平视差候选者Δx指示通过从候选像素的x坐标减去左侧像素的x坐标得到的值。另一方面，垂直视差候选者Δy指示通过从候选像素的y坐标减去左侧像素的y坐标得到的值。随后将给出其详细描述。为每一左侧像素提供垂直视差候选者存储表。

[DSAD计算部分的配置]

DSAD计算部分22从图生成部件50获得关于偏移α1的偏移信息。此处，简要地，由于取决于先前帧的输入图像V_L和输入图像V_R之间的颜色不一致的程度来设置偏移α1，所以随着颜色不一致增加，偏移α1减少。此外，当不能够获得所述偏移信息（例如，当对第一帧（第0帧）执行处理时），DSAD计算部分22将偏移α1设置为0。

DSAD计算部分22将左侧像素的任何一个设置为基础像素，并从回程部分27获得先前帧的整体视差图。然后，DSAD计算部分22在先前帧的整体视差图中搜索所述基础像素的先前帧的水平视差d1和垂直视差d2。随后，DSAD计算部分22将相对于所述基础像素具有先前帧的垂直视差d2的右侧像素的任何一个，设置为第一参考像素。也就是说，DSAD计算部分22将具有通过添加先前帧的垂直视差d2到所述基础像素的y坐标得到的y坐标的右侧像素的任何一个，设置为第一参考像素。如上所述，DSAD计算部分22基于先前帧的整体视差图确定第一参考像素。即，DSAD计算部分22执行递归处理。此外，当不能够获得先前帧的整体视差图时，DSAD计算部分22将与基础像素具有相同的y坐标的右侧像素，设置为第一参考像素。

然后DSAD计算部分22将在y方向上距第一参考像素在预定范围内的右侧像素，设置为第二参考像素。该预定范围是例如以第一参考像素的y坐标为中心的±1的范围，但是该范围是根据健壮度和精确度之间的平衡而被任意改变的。由第一参考像素和第二参考像素形成的像素组构成参考像素组。

如上所述，随着帧前进，顺序地更新第一参考像素的y坐标，选择最可靠（最接近基础像素）的像素作为第一参考像素。此外，由于基于更新的第一参考像素设置参考像素组，所以实际上增大了y方向上的搜索范围。例如，当在第0帧将第一参考像素的y坐标设置为5时，分别将第二参考像素的y坐标设置为4和6。此后，当在第一帧将第一参考像素的y坐标更新为6时，分别将第二参考像素的y坐标设置为5和7。在这种情况下，在第0帧将第一参考像素的y坐标设置为5，而随着帧从第0帧到第一帧的前进，第二参考像素的y坐标增至7。也就是说，在y方向的搜索范围实际上在其正方向上增加了1。因此，图像处理设备1能够执行受到几何不一致影响较少的视差检测。此外，当确定第一参考像素时，DSAD计算部分22使用先前帧的整体视差图，但是可以使用先前帧的综合视差图。在这种情况下，DSAD计算部分22可以更精确地确定第一参考像素。

基于基础像素、包括第一参考像素和第二参考像素的参考像素组、以及偏移α1，DSAD计算部分22计算DSAD（Δx，j）（第一估值，第二估值），用下面的表达式（1）来表示。

$\mathrm{DSAD}(\mathrm{\&Delta;x},j)=\underset{i}{\mathrm{\&Sigma;}}|L\left(i\right)-R(i,j)-(L\left(0\right)-R(0,j))\&times;(1-\mathrm{\&alpha;}1)|---\left(1\right)$

此处，Δx是通过从第一参考像素的x坐标减去基础像素的x坐标得到的值。此外，如后面所述，为每一Δx选择最小DSAD（Δx，j），并且将与最小DSAD（Δx，j）对应的右侧像素设置为候选像素。因此，Δx也是通过从候选像素的x坐标减去基础像素的x坐标得到的值，即水平视差候选者。j是-1到+1范围内的整数，而i是-2到2范围内的整数。L(i)是其y坐标与基础像素的y坐标相距i的左侧像素的亮度。即，L(i)指示以基础像素为中心的基础区域中的基础像素特征量。R(i,0）指示以第一参考像素为中心的第一参考区域中的第一参考像素特征量。相应地，DSAD（Δx,0)指示基础像素特征量和第一参考像素特征量之间差的估值，即第一估值。

同时，R（i,1）和R（i,-1）指示以第二参考像素为中心的第二参考区域中的第一参考像素特征量。相应地，DSAD（Δx,1)和DSAD（Δx,-1）指示基础像素特征量和第二参考像素特征量之间差的估值，即第二估值。α是上述偏移。

因此，DSAD计算部分22不仅参考基础像素、第一参考像素和第二参考像素的亮度，而且还参考在y方向上偏离这样的像素的像素的亮度，来计算所述DSAD。也就是说，DSAD计算部分22通过参考基础像素、第一参考像素和第二参考像素的周围亮度，而导致所述像素的y坐标的浮动。因此，在这方面，图像处理设备1能够执行受到几何不一致影响较少的视差检测。注意到，在所述处理中，将y坐标的浮动量设置为在相对于每一像素的y坐标的上下方向的两个像素，但是该范围是根据健壮度和精确度之间的平衡而任意改变的。此外，由于DSAD计算部分22在计算所述DSAD时使用了与颜色不一致对应的偏移，所以可以执行受到颜色不一致影响较少的视差检测。

DSAD计算部分22为每一水平视差候选者Δx计算DSAD（Δx，j)。也就是说，DSAD计算部分22为其水平位置不同的每一第一参考像素生成参考像素组，并为每一参考像素组计算DSAD（Δx，j）。然后，DSAD计算部分22改变基础像素，并且重复所述处理。由此，DSAD计算部分22为每一基础像素计算DSAD（Δx，j）。随后，DSAD计算部分22生成DSAD信息，其中每一基础像素与每一DSAD（Δx，j）相关联，并输出该信息至最小值选择部分23。

[最小值选择部分的配置]

最小值选择部分23基于所述DSAD信息执行下面的处理。即，最小值选择部分23为每一水平视差候选者Δx选择最小DSAD（Δx，j）。最小值选择部分23将所选择的DSAD（Δx，j）存储在图9中示出的用于视差检测的DP图的每个结点P（x,Δx）中。相应地，将最小的DSAD（Δx，j）设置为结点P（x,Δx）的得分（score）。

在该用于视差检测的DP图中，将横轴设置为左侧像素的x坐标，将纵轴设置为水平视差候选者Δx，并且提供多个结点P(x,Δx)。当计算左侧像素的水平视差d1时，使用该用于视差检测的DP图。此外，为左侧像素的每一y坐标产生该用于视差检测的DP图。因此，该用于视差检测的DP图中任何一幅中的任何一个结点P(x,Δx)对应于左侧像素的任何一个。

此外，最小值选择部分23指定与最小DSAD（Δx，j）对应的参考像素为候选像素。然后，最小值选择部分23将通过从该候选像素的y坐标减去基础像素的y坐标得到的值设置为垂直视差候选者Δy。随后，最小值选择部分23将水平视差候选者Δx与垂直视差候选者Δy关联，并将它们存储在垂直视差候选者存储表中。最小值选择部分23为每一基础像素执行所述处理。

[锚矢量建立部分的配置]

图6中示出的锚矢量建立部分24从估值部件40获得先前帧的时间可靠性图，并从图生成部件50获得先前帧的综合视差图。当前帧的时间可靠性图是这样的图，它指示是否即使在后续帧中，也能使用由当前帧的综合视差图指示的左侧像素的水平视差d1和垂直视差d2作为参考。相应地，先前帧的时间可靠性图指示针对每一左侧像素，是否即使在当前帧中，也能使用在先前帧中检测到的水平视差d1和垂直视差d2作为参考。基于先前帧的时间可靠性图，锚矢量建立部分24指定当前帧中的左侧像素，即视差稳定左侧像素，对于该左侧像素可以使用水平视差d1和垂直视差d2作为参考。然后，基于先前帧的综合视差图，锚矢量建立部分24指定先前帧中的视差稳定左侧像素的水平视差d1，即稳定水平视差d1’。随后，锚矢量建立部分24针对每一视差稳定左侧像素生成由下面的表达式（2）表示的锚矢量。

Anchor＝α2×(0...1 0...0)＝α2×M_d...(2)

这里，α2指示附加（bonus）值，矩阵M_d指示先前帧中的视差稳定左侧像素的水平视差d1。即，矩阵M_d的各个列指示各个不同的水平视差候选者Δx，而元素为1的列指示与该列对应的水平视差候选者Δx是所述稳定水平视差d1’。如果没有视差稳定左侧像素，则矩阵M_d的所有元素为0。此外，当不能获得先前帧的时间可靠性图和综合视差图时（例如，当对第0帧执行处理时），锚矢量建立部分24将矩阵M_d的全部元素设置为0。锚矢量建立部分24生成其中锚矢量与视差稳定左侧像素关联的锚矢量信息，并输出该信息到成本计算部分25。

[成本计算部分的配置]

基于锚矢量信息，图6中示出的成本计算部分25更新用于视差检测的DP图的每个结点P（x,d）的值。即，成本计算部分25针对每一视差稳定左侧像素指定与稳定水平视差d1′对应的结点（x,Δx(=d1'）），并从该结点的得分中减去附加值α2。由此，每一个具有等于稳定水平视差d1'的视差的结点趋于在最短路径中。换言之，在当前帧中趋于选择稳定水平视差d1'。

[路径建立部分的配置]

如图8中所示，图6中示出的路径建立部分26包括：左眼图像水平差值计算部分261；右眼图像水平差值计算部分262；权重计算部分263；和路径计算部分264。

左眼图像水平差值计算部分261从图像获取部件10获得输入图像V_L，并对构成该输入图像V_L的每一左侧像素执行下面的处理。即，左眼图像水平差值计算部分261将左侧像素的任何一个设置为基础像素，并从该基础像素的亮度中减去其x坐标比该基础像素的x坐标大1的左侧像素的亮度。左眼图像水平差值计算部分261将用上述方式获得的值设置为亮度水平差值dw_L，并基于该亮度水平差值dw_L生成亮度水平差值信息。然后，左眼图像水平差值计算部分261输出该亮度水平差值信息到权重计算部分263。

右眼图像水平差值计算部分262从图像获取部件10获得输入图像V_R。然后，右眼图像水平差值计算部分262在输入图像V_R上执行和上述左眼图像水平差值计算部分261相同的处理。随后，右眼图像水平差值计算部分262输出通过所述处理生成的亮度水平差值信息，到权重计算部分263。

基于所述亮度水平差值信息，权重计算部分263为每一左侧像素和右侧像素计算该左侧像素的权重wt_L和该右侧像素的权重wt_R。具体地，权重计算部分263将左侧像素的亮度水平差值dw_L代入反曲（sigmoidal）函数，从而将亮度水平差值dw_L规范化为0到1的值，并将该值设置为权重wt_L。同样地，权重计算部分263将右侧像素的亮度水平差值dw_R代入反曲函数，从而将亮度水平差值dw_R规范化为0到1的值，并将该值设置为权重wt_R。然后，权重计算部分263基于所计算出的权重wt_L和wt_R生成权重信息，并输出该信息到路径计算部分264。权重wt_L和wt_R在所述图像的边缘（轮廓）部分减少，而在其平坦部分增加。此外，所述反曲函数由例如下面的表达式（2-1）给出。

$f\left(x\right)=\frac{1}{1+e^{-\mathrm{kx}}}---(2-1)$

这里，k表示增益。

基于权重计算部分263给出的权重信息，路径计算部分264计算从用于视差检测的DP图的起始点到每一结点P（x,Δx）累积的累积成本。具体地，路径计算部分264将结点（0，0）设置为起始点，并将结点（x_max，0）设置为终点。从而，将从起始点到结点P（x,Δx）累积的累积成本定义如下。这里，x_max是左侧像素的x坐标的最大值。

DFI(x，Δx)₀＝DFI(x，Δx-1)+occCost₀+occCost₁×wt_R...(3)

DFI(x，Δx)₁＝DFI(x-1，Δx)+DFD(x，d)...(4)

DFI(x，Δx)₂＝DFI(x-1，Δx+1)+occCost₀+occCost₂×wt_L...(5)

这里，DFI（x,Δx）₀是通过路径PA_d0到达结点P（x,Δx）累积的累积成本，DFI（x,Δx）₁是通过路径PA_d1到达结点P（x,Δx）累积的累积成本，而DFI（x,Δx）₂是通过路径PA_d2到达结点P(x,Δx）累积的累积成本。此外，DFI（x,Δx-1）是从起始点到结点P（x,Δx-1）累积的累积成本。DFI（x-1,Δx）是从起始点到结点P（x-1,Δx）累积的累积成本。DFI（x-1,Δx+1）是从起始点到结点P（x-1,Δx+1）累积的累积成本。此外，occCost₀和occCost₁分别是预定的、指示成本值的值，并被设置为例如4.0。wt_L是对应于结点P（x,Δx）的左侧像素的权重，而wt_R是与该左侧像素具有相同坐标的右侧像素的权重。

然后，路径计算部分264选择计算出来的累积成本DFI(x,Δx)₀到DFI(x,Δx)₂的最小值，并将所选择的值设置为结点P(x,Δx）的累积成本DFI(x,Δx)。路径计算部分264为每一结点P（x,Δx）计算累积成本DFI(x,Δx)，并将该成本存储在用于视差检测的DP图中。

回程部分27从终点向起始点反向经过一路径，通过该路径使累积成本最小化，从而计算通过其使从起始点到终点累积的成本最小化的路径。该最短路径中的结点是与该结点对应的左侧像素的水平视差d1。因此，回程部分27通过计算最短路径，检测左侧像素的各自水平视差d1。

回程部分27从垂直视差候选者存储部分21获得与左侧像素的任何一个对应的垂直视差候选者存储表。回程部分27基于所获得的垂直视差候选者存储表，指定与左侧像素的水平视差d1对应的垂直视差候选者Δy，并将所指定的垂直视差候选者Δy设置为该左侧像素的垂直视差d2。从而，回程部分27检测到垂直视差d2。然后，回程部分27检测出用于每一左侧像素的垂直视差d2，并基于检测到的水平视差d1和垂直视差d2生成整体视差图。该整体视差图指示用于每一左侧像素的水平视差d1和垂直视差d2。回程部分27输出生成的整体视差图到DSAD计算部分22，和图5中示出的估值部件40和图生成部件50。在后续帧中使用输出到DSAD计算部分22的整体视差图。

[第二视差检测部件的配置]

图5中示出的第二视差检测部件30通过使用不同于第一视差检测部件的方法的方法，即局部匹配来计算每一左侧像素的水平视差d1和垂直视差d2。具体地，第二视差检测部件30执行下面的处理。第二视差检测部件30从图像获取部件10获得输入图像V_L和V_R。此外，第二视差检测部件30从估值部件40获得先前帧的时间可靠性图，并从图生成部件50获得先前帧的综合视差图。

基于先前帧的时间可靠性图，第二视差检测部件30指定一左侧像素，即视差稳定左侧像素，可以在当前帧中使用该左侧像素的水平视差d1和垂直视差d2作为参考。然后，基于先前帧的综合视差图，第二视差检测部件30指定先前帧中的视差稳定左侧像素的水平视差d1和垂直视差d2，即稳定水平视差d1'和稳定垂直视差d2'。随后，锚矢量建立部分24分别将稳定水平视差d1'和稳定垂直视差d2'添加到视差稳定左侧像素的xy坐标，并且将用这种方式获得的具有该xy坐标的右侧像素设置为视差稳定右侧像素。

此外，第二视差检测部件30将每一输入图像V_L和V_R划分成多个像素块。例如，第二视差检测部件30将输入图像V_L划分成64左侧像素块，并将输入图像V_R划分成64右侧像素块。

随后，第二视差检测部件30从与每一左侧像素块对应的右侧像素块中，检测与每一左侧像素块中的各个左侧像素对应的对应像素。例如，第二视差检测部件30将其亮度最接近于每一左侧像素的亮度的右侧像素检测为所述对应像素。此处，当意欲检测与视差稳定左侧像素对应的对应像素时，第二视差检测部件30优先地将视差稳定右侧像素检测为对应像素。例如，当其亮度最接近于每一左侧像素的亮度的右侧像素被设置为视差稳定右侧像素时，第二视差检测部件30将该视差稳定右侧像素检测为对应像素。另一方面，当其亮度最接近于每一左侧像素的亮度的右侧像素被设置为视差稳定右侧像素之外的右侧像素时，第二视差检测部件30将预定的亮度范围与该右侧像素和视差稳定左侧像素之间的亮度差进行比较。如果该亮度差在预定的亮度范围之内，则第二视差检测部件30将该对应的右侧像素检测为对应像素。如果该亮度差在预定的亮度范围之外，则第二视差检测部件30将视差稳定右侧像素检测为对应像素。

第二视差检测部件30将通过从该对应像素的x坐标中减去左侧像素的的x坐标得到的值设置为该左侧像素的水平视差d1；而将通过从该对应像素的y坐标中减去左侧像素的y坐标得到的值设置为该左侧像素的垂直视差d2。第二视差检测部件30基于检测结果产生局部视差图。该局部视差图为每一左侧像素指示水平视差d1和垂直视差d2。第二视差检测部件30输出所生成的局部视差图至该估值部件40和图生成部件50。

此外，当不能获得前一帧的时间可靠性图和综合视差图时（例如，当对第0帧执行处理时），第二视差检测部件30不检测视差稳定左侧像素，但是执行上述处理。此外，通过对于每一左侧像素块执行与上述第一视差检测部件20相同的处理，第二视差检测部件30可以检测出左侧像素的水平视差d1和垂直视差d2。

[估值部件的配置]

如图10中所示，估值部件40包括：特征量计算部分41、神经网络处理部分42和边缘化处理部分43。

[特征量计算部分的配置]

特征量计算部分41基于第一视差检测部件20和第二视差检测部件30给出的视差图等，生成各种类型的特征量图（算术特征量）。例如，特征量计算部分41基于局部视差图生成局部封闭图。这里，该局部封闭图指示为每一左侧像素指示局部封闭信息。局部封闭信息指示从任意基础位置（例如，对对象拍照的拍摄设备的位置）到左侧像素绘制的对象的距离。

同样地，特征量计算部分41基于整体视差图生成整体封闭图。整体封闭图为每一左侧像素指示整体封闭信息。整体封闭信息指示从任意基础位置（例如，对对象拍照的拍摄设备的位置）到左侧像素绘制的对象的距离。此外，特征量计算部分41基于局部封闭图和整体封闭图生成绝对封闭图。绝对封闭图指示每一左侧像素的绝对封闭信息。绝对封闭信息指示局部封闭信息和整体封闭信息之间的差值的绝对值。

此外，特征量计算部分41生成绝对视差图。绝对视差图为每一左侧像素指示水平视差差值的绝对值。此处，水平视差差值是通过从整体视差图的水平视差d1中减去局部视差图的水平视差d1得到的值。

而且，特征量计算部分41基于局部视差图和图像获取部件10给出的输入图像V_L与V_R，生成局部SAD（绝对差值和）图。该局部SAD图为每一左侧像素指示局部SAD。局部SAD是通过从对应像素的亮度中减去左侧像素的亮度得到的值。所述对应像素是这样的右侧像素，其x坐标是左侧像素的x坐标与局部视差图指示的水平视差d1的和，而其y坐标是左侧像素的y坐标和局部视差图指示的垂直视差d2的和。

同样地，特征量计算部分41基于整体视差图和图像获取部件10给出的输入图像V_L与V_R，生成整体SAD（绝对差值和）图。该整体SAD图为每一左侧像素指示整体SAD。整体SAD是通过从对应像素的亮度中减去左侧像素的亮度得到的值。所述对应像素是这样的右侧像素，其x坐标是左侧像素的x坐标与整体视差图指示的水平视差d1的和，而其y坐标是左侧像素的y坐标和整体视差图指示的垂直视差d2的和。

然后，特征量计算部分41基于局部SAD图和整体SAD图生成绝对SAD图。绝对SAD图为每一左侧像素指示绝对SAD。该绝对SAD指示通过从局部SAD中减去整体SAD得到的值的绝对值。

此外，特征量计算部分41计算整体视差图指示的水平视差d1和局部视差图指示的水平视差d1之间的算术平均，从而生成平均视差图。该平均视差图为每一左侧像素指示算术平均值。

而且，特征量计算部分41为每一左侧像素计算整体视差图指示的水平视差d1的方差（相对于所述算术平均值的方差），从而生成方差视差图。特征量计算部分41输出该特征量图至神经网络处理部分42。此外，特征量计算部分41生成至少两幅或更多幅特征量图是优选的。

[神经网络处理部分]

神经网络处理部分42将所述特征量图设置为该神经网络的输入值In0到In(m-1)，从而获得输出值Out0到Out2。此处，m是大于等于2且小于等于11的整数。

具体地，神经网络处理部分42将构成每一特征量图的左侧像素的任何左侧像素设置为估值目标像素，并从每一特征量图获得与该估值目标像素对应的值。然后神经网络处理部分42将这样的值设置为输入值。

输出值Out0指示是否即使在后续帧中，也能使用由综合视差图指示的估值目标像素的水平视差d1和垂直视差d2作为参考。即，输出值Out0指示时间可靠性。具体地，输出值Out0被设置为“0”或“1”。“0”指示例如在后续帧中不使用水平视差d1和垂直视差d2作为参考。“1”指示例如在后续帧中可以使用水平视差d1和垂直视差d2作为参考。

输出值Out1指示：在整体视差图指示的估值目标像素的水平和垂直视差d1和d2、与局部视差图指示的估值目标像素的水平和垂直视差d1和d2之间，谁更可靠。即，输出值Out1指示相对可靠性。具体地，输出值Out1被设置为“0”或“1”。“0”指示例如局部视差图比整体视差图具有更高的可靠性。“1”指示例如整体视差图比局部视差图具有更高的可靠性。

没有特别限制输出值Out2，但是它可以是例如可用于各种应用的信息。更具体地，输出值Out2可以是估值目标像素的封闭信息。估值目标像素的封闭信息指示从任意基础位置（例如，对对象拍照的拍摄设备的位置）到估值目标像素绘制的对象的距离，并且当裸眼3D显示装置生成多视角图像时可以使用该信息。此外，输出值Out2可以是估值目标像素的运动信息。估值目标像素的运动信息是关于估值目标像素所绘制的对象的运动的信息（例如，指示运动的量值和方向的矢量信息）。在2D3D转换应用中可以使用该运动信息。此外，输出值Out2可以是估值目标像素的亮度转换信息。估值目标像素的亮度转换信息是指示由哪个亮度来指示该估值目标像素的信息，并且在动态范围应用中可以使用该信息。

此外，输出值Out2可以是在生成多视角图像时可用的各种类型的可靠性信息。例如，输出值Out2可以是指示在生成多视角图像时是否可以使用估值目标像素的水平视差d1和垂直视差d2作为参考的可靠性信息。当不能使用估值目标像素的水平视差d1和垂直视差d2作为参考时，裸眼3D显示装置通过使用该估值目标像素的周围像素的水平视差d1和垂直视差d2来对该估值目标像素的水平视差d1和垂直视差d2执行内插。此外，输出值Out2可以是指示在细化多视角图像时是否可以增加估值目标像素的亮度的可靠性信息。裸眼3D显示装置在各个像素的亮度中增加可以进一步增加的亮度，从而执行细化。

神经网络处理部分42通过顺序地改变估值目标像素而产生新的输入值In0到In(m-1)，并获得输出值Out0到Out2。相应地，给出输出值Out0作为用于多个左侧像素的每一个的时间可靠性，即时间可靠性图。给出输出值Out1作为用于所述多个左侧像素的每一个的相对可靠性，即相对可靠性图。给出输出值Out2作为用于所述多个左侧像素的每一个的各种类型的信息，即信息图。神经网络处理部分42输出这样的图到边缘化处理部分43。图13示出作为相对可靠性图的例子的相对可靠性图EM1。区域EM11指示其中整体视差图比局部视差图具有更高的可靠性的区域。区域EM12指示其中局部视差图比整体视差图具有更高的可靠性的区域。

如上所述，局部匹配具有以下优点：精确度不依赖于输入图像V_L和V_R的质量（颜色不一致、几何不一致等的程度），但也具有封闭（occlusion）上的缺点，即稳定性差（精确度容易不均）的缺点。相反地，整体匹配具有封闭上的优点，即稳定性上的优点，但也具有以下缺点：精确度容易依赖输入图像V_L和V_R的质量。但是，第一视差检测部件20当执行整体匹配时在垂直方向执行搜索，并且也执行校正以处理该颜色不一致。即，当确定第一参考像素时，第一视差检测部件20不仅搜索其y坐标与基础像素的y坐标相同的右侧像素，还搜索处于在y方向上偏离该基础像素的位置的像素。此外，第一视差检测部件20当计算DSAD时将该偏移α1用于颜色不一致。如上所述，第一视差检测部件20能够执行整体匹配，其中精确度不可能取决于输入图像V_L和V_R的质量。因此，在本实施例中，在大部分情况下，整体匹配比局部匹配具有更高的可靠性，从而区域EM11大于区域EM12。

神经网络处理部分42具有例如如图11中所示的n层。此处，n是大于或等于3的整数。第0层是输入层，第一至第(n-2)层是中间层，而第（n-1）层是输出层。每层具有多个结点421。即，输入层和中间层每层具有与输入值In0到In(m-1)对应的结点（第0至第(m-1）结点）。输出层具有三个结点（第0至第二结点）。输出层输出输出值Out0至Out2。每一结点421连接到与该对应结点421邻近的层的所有结点421。用例如下面的表达式（6）来表示来自第k层（1≤k≤n-1）的第j节点的输出值。

$g_j^k=f\left(\underset{i}{\mathrm{\&Sigma;}}{g}_i^{k-1}{\mathrm{\&omega;}}_{j,i}^{k,k-1}\right)---\left(6\right)$

这里，

是来自第k层的第j结点的输出值，

是传播（propagation）系数，i是0到m-1的整数，是In0到In（m-1）的输入值，

是第k层的第j结点的净值（net value），而f(x)是反曲函数。然而，当所述输出值是Out0至Out1的任何一个时，用下面的表达式(7)来表示f(x)。此处，Th1是预定的阈值。

$f\left(x\right)=\left\{\begin{array}{c}0(x\&le;\mathrm{Th}1)\\ 1(x>\mathrm{Th}1)\end{array}\right.---\left(7\right)$

此外，即使当所述输出值是Out2且该Out2指示可靠性信息时，也用上面的表达式（7）来表示f(x)。

此外，为了获得合适的输出值Out0至Out2，神经网络处理部分42预先进行学习。通过例如向后传播（back-propagation）来执行所述学习。即，基于下面的表达式(8)和(9)，神经网络处理部分42在第(n-2）层和输出层之间更新传播系数。

${\mathrm{\&omega;}}_{j,i}^{\&prime;n-1,n-2}={\mathrm{\&omega;}}_{j,i}^{n-1,n-2}+{\mathrm{\&eta;g}}_i^{n-2}{\mathrm{\&delta;}}_j---\left(8\right)$

δ_j＝(b_j-u_j)u_j(1-u_j)...(9)

这里，

是传播系数

的更新值，η是学习系数（预先设置），u_j是来自输出层的第j结点的输出值，而b_j是用于u_j的教师信息。

然后，基于下面的表达式(10)到(13)，神经网络处理部分42按一一接近于输出层的顺序来顺序地更新在第（n-2)层之前的层的传播系数。

${\mathrm{\&omega;}}_{j,i}^{\&prime;k,k-1}={\mathrm{\&omega;}}_{j,i}^{k,k-1}+{\mathrm{\&eta;g}}_i^{k-1}{\mathrm{\&delta;}}_j^k---\left(10\right)$

${\mathrm{\&delta;}}_j^k=g_j^k(1-g_j^k)\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&delta;}}_i^{k+1}{\mathrm{\&omega;}}_{i,j}^{k+1,k}---\left(11\right)$

${\mathrm{\&delta;}}_i^{n-1}={\mathrm{\&delta;}}_i---\left(12\right)$

δ_i＝(b_i-u_i)u_i(1-u_i)...(13)

这里，u_i是来自输出层的第i结点的输出值，b_i是用于u_i的教师信息，而是传播系数

的更新值。

这里，作为教师信息，可以使用预先作为模板提供的左眼教师图像、右眼教师图像、左眼基础视差图和右眼基础视差图。这里，左眼教师图像对应于输入图像V_L，而右眼教师图像对应于输入图像V_R。左眼基础视差图是通过使用构成左眼教师图像的左侧像素作为基础像素而创建的视差图。右眼基础视差图是通过使用构成右眼教师图像的右侧像素作为基础像素而创建的视差图。即，基于这样的模板，计算输入值In0到In(m-1)和输出值Out0到Out2的教师信息。此外，基于修改的模板（例如，添加噪声到每幅图像的模板，在所述图像之一中引起颜色不一致和几何不一致中至少一者的模板），计算输入值In0至In(m-1)和输入值Out0至Out2的教师信息。可以在裸眼3D显示装置内部执行或者可以在外部装置中执行老师信息的计算。然后，通过向神经网络处理部分42顺序地提供这样的教师信息，使得神经网络处理部分42执行学习。通过使得神经网络处理部分42执行这样的学习，可以获得受到颜色不一致和几何不一致较少影响的输出值Out0到Out2。

此外，用户能够修改模板以获得所期望的输出值Out0到Out2。即，教师信息和输出值Out0至Out2之间的关系满足二项式分布，从而用下面的表达式(14)给出似然函数L。

$L=\underset{i}{\mathrm{\&Pi;}}{y}_i^{t_i}\&times;{(1-y_i)}^{(1-t_i)}---\left(14\right)$

这里，y_i是Out0至Out2的输出值，而t_i是教师信息。

教师信息的分布取决于似然函数L。因此，优选地，用户修改模板以在获得所期望的输出值Out0至Out2时最大化似然性。用下面的表达式(15)给出在对教师信息进行加权时的似然函数L'。

$L=\underset{i}{\mathrm{\&Pi;}}{y}_i^{w\&times;t_i}\&times;{(1-y_i)}^{\stackrel{\&OverBar;}{w}\&times;(1-t_i)}---\left(15\right)$

这里，w和

是权重。

此外，神经网络处理部分42的一部分可以用硬件实现。例如，通过固定从输入层到第一层的处理，这部分可以用硬件实现。此外，特征量计算部分41和神经网络处理部分42可以用下述方法生成该输出值Out1，即相对可靠性图。此外，在这个处理中，神经网络处理部分42不使用神经网络来执行处理。即，特征量计算部分41生成第一差值图，其指示当前帧的整体视差图和先前帧的整体视差图之间的差值。第一差值图为每一左侧像素指示通过从当前帧的整体视差图的水平视差d1中减去先前帧的整体视差图的水平视差d1得到的值。随后，神经网络处理部分42二值化第一差值图，从而生成第一二值化差值图。然后，神经网络处理部分42通过用预定的权重（例如8）乘以第一二值化差值图的每个值而生成第一差值得分图。

此外，特征量计算部分41生成当前帧的整体视差图和当前帧的输入图像V_L之间的边缘图像，并生成指示这样的关联的关联图。整体视差图的边缘图像指示该整体视差图的边缘部分（在该整体视差图上绘制的每一图像的轮廓部分）。同样地，输入图像V_L的边缘图像表示输入图像V_L的边缘部分（在输入图像V_L中绘制的每一图像的轮廓部分）。作为计算每一边缘图像之间的相关性的方法，使用诸如NCC之类的计算相关性关系的方法。然后，神经网络处理部分42二值化该相关性图，从而生成二值化的相关性图。随后，神经网络处理部分42用预定的权重（例如26）乘以该二值化的相关性图的每个值，从而生成相关性得分图。

然后，神经网络处理部分42通过IIR滤波器将第一差值得分图与相关性得分图综合，从而生成整体匹配可靠性图。该整体匹配可靠性图的每一左侧像素的值表示第一差值得分图的值和相关性得分图的值之间较大的值。

同时，特征量计算部分41生成第二差值图，其指示当前帧的局部视差图和先前帧的局部视差图之间的差值。第二差值图为每一左侧像素指示通过从当前帧的局部视差图的水平视差d1中减去先前帧的局部视差图的水平视差d1得到的值。随后，神经网络处理部分42二值化第二差值图，从而生成第二二值化差值图。然后，神经网络处理部分42通过用预定的权重（例如16）乘以第二二值化差值图的每个值而生成第二差值得分图。

此外，特征量计算部分41生成当前帧的输入图像V_L的边缘图像。该边缘图像表示输入图像V_L的边缘部分（在输入图像V_L中绘制的每一图像的轮廓部分）。神经网络处理部分42二值化该边缘图像，从而生成二值化的边缘图像。随后，神经网络处理部分42用预定的权重（例如8）乘以该二值化的边缘图的每个值，从而生成边缘得分图。

然后，神经网络处理部分42通过IIR滤波器将第二差值得分图与边缘得分图综合，从而生成局部匹配可靠性图。该局部匹配可靠性图的每一左侧像素的值表示第二差值得分图的值和边缘得分图的值之间较大的值。

如上所述，神经网络处理部分42用不同的估值方法来估值整体视差图，并综合这样的结果，从而生成整体匹配可靠性图。同样地，神经网络处理部分42用不同的估值方法来估值局部视差图，并综合这样的结果，从而生成局部匹配可靠性图。这里，整体视差图的估值方法和局部视差图的估值方法彼此不同。此外，根据估值方法而不同地执行加权。

然后，神经网络处理部分42提供该整体匹配可靠性图和该局部匹配可靠性图，从而为每一左侧像素确定在整体视差图和局部视差图之间哪个更可靠。基于该确定结果，神经网络处理部分42生成该相对可靠性图，其指示具有高可靠性的视差图。

边缘化处理部分43在神经网络处理部分42给出的每一图上执行边缘化（平滑）处理。具体地，边缘化处理部分43将组成图的任何像素设置为综合基础像素，并综合该综合基础像素和周围像素的值（例如，相对可靠性、时间可靠性等）。边缘化处理部分43将综合后的值规范到0到1的范围内，并将该值传播到邻近该综合基础像素的像素。这里，将参考图12描述边缘化处理的例子。例如，边缘化处理部分43将像素PM1设置为综合基础像素，并综合该综合基础像素PM1和周围像素PM2到PM4的值。然后，边缘化处理部分43将综合后的值规范化到0到1的范围内。如果该综合基础像素PM1的值等于“0”或“1”，则边缘化处理部分43将综合后的值代入上述表达式(7)，从而执行规范化。相反，如果该综合基础像素PM1的值等于0到1的范围内的实数，则边缘化处理部分43将综合后的值代入反曲函数，从而执行规范化。

然后，边缘化处理部分43向在该综合基础像素PM1右侧的相邻像素PM5传播该规范化的综合值。具体地，边缘化处理部分43计算综合值和像素PM5的值之间的算术平均值，并将该算术平均值设置为像素PM5的值。边缘化处理部分43可以照原样将综合值设置为像素PM5的值。此外，当执行边缘化处理时，边缘化处理部分43将综合基础像素的初值（起点）设置到在该图的左端的像素（x=0的像素）。在这个例子中，将传播方向设置为向右的方向，但是可以是另一方向（向左的方向、向上的方向或向下的方向）。

边缘化处理部分43可以在该图的整个范围内执行该边缘化处理，但是也可以在部分范围内执行边缘化处理。此外，可以由低通滤波器执行该图的边缘化处理。然而，当边缘化处理部分43执行上述处理时，可能获得下面的效果。即，通过使用低通滤波器，可以只在作为边缘化处理的目标的、其中像素值大于或等于预定值的该图的一部分上执行边缘化处理。相反，边缘化处理部分43能够在该图的整个范围或期望的范围上执行边缘化处理。此外，由于使用低通滤波器的边缘化处理仅仅输出每个像素的中间值，所以边缘化处理可能导致该图中的缺陷。例如，该图的特征部分（例如，其中绘制了对象或该图的边缘部分的部分）可能被不自然地边缘化。相反，由于边缘化处理部分43综合多个像素的值并通过使用用这样的方式获得的综合值来执行边缘化，所以可以在该图的特征部分之外执行边缘化。

边缘化处理部分43输出经历边缘化处理的相对可靠性图到图5中示出的图生成部件50。而且，边缘化处理部分43输出经历边缘化处理的时间可靠性图到第一视差检测部件20和第二视差检测部件30。在后续帧中使用输出到第一视差检测部件20和第二视差检测部件30的时间可靠性图。此外，边缘化处理部分43提供经历边缘化处理的多种信息图到需要对应的多种信息图的应用。

[图生成部件的配置]

图生成部件50基于整体视差图、局部视差图和相对可靠性图生成综合视差图。该综合视差图的左侧像素的水平视差d1和垂直视差d2指示在整体视差图和局部视差图指示的值之间具有更高可靠性的值。该图生成部件50向裸眼3D显示装置中的多视角图像生成应用提供该综合视差图。此外，图生成部件50输出该综合视差图到第一视差检测部件20。在后续帧中使用输出到第一视差检测部件20的综合视差图。

而且，图生成部件50基于输入图像V_L和V_R以及综合视差图计算偏移α1。即，图生成部件50基于综合视差图在输入图像V_R中搜索与左侧像素对应的对应像素。每一对应像素的x坐标是左侧像素的x坐标和水平视差d1的和的值。每一对应像素的y坐标是左侧像素的y坐标和垂直视差d2的和的值。图生成部件50为每一左侧像素搜索对应像素。

图生成部件50计算左侧像素和对应像素之间的亮度差ΔLx（差值），并且计算该亮度差ΔLx的算术平均值E(x)和亮度差ΔLx的平方的算术平均值E(x²)。然后，图生成部件50基于计算出的算术平均值E(x)和E(x²)确定输入图像V_L和V_R的类别，并且例如图14中示出的分类表。这里，分类表指示算术平均值E(x)和E(x²)的关联、以及输入图像V_L和V_R的类别。将输入图像V_L和V_R的类别划分成类0至类4，并且每一类指示输入图像V_L和V_R的清楚度。随着类别值变得更小，输入图像V_L和V_R变得更清楚。例如，图15中示出的图像V1被归类为类0。由于在摄影棚拍摄图像V1，所以对象被绘制得相对清楚。另一方面，图16中示出的图像V2被归类为类4。由于在户外拍摄图像V2，该对象的一部分（具体地，背景部分）被绘制得相对不清楚。

图生成部件50基于输入图像V_L和V_R的类别以及图17中示出的偏移对应表，确定偏移α1。这里，偏移对应表示出偏移α1以及输入图像V_L和V_R的类别之间的对应关系。图生成部件50输出关于所确定的偏移α1的偏移信息至第一视差检测部件20。在后续帧中使用该偏移α1。

<3.使用图像处理设备的处理>

接下来，将参照图18中示出的流程图描述使用图像处理设备的处理过程。

在步骤S10中，图像获取部件10获得输入图像V_L和V_R，并输出它们至图像处理设备1的各个组件。在步骤S20中，DSAD计算部分22从图生成部件50获得偏移α1的偏移信息。此外，当不能够获得所述偏移信息时（例如，当对第一帧（第0帧）执行处理时），DSAD计算部分22将偏移α1设置为0。

DSAD计算部分22从回程部分27获得先前帧的整体视差图。然后，DSAD计算部分22将左侧像素的任何一个设置为基础像素，并在先前帧的整体视差图中搜索该基础像素的先前帧的水平视差d1和垂直视差d2。随后，DSAD计算部分22将相对于所述基础像素具有先前帧的垂直视差d2的右侧像素的任何一个，设置为第一参考像素。此外，当不能够获得先前帧的整体视差图时（例如，当对第0帧执行处理时），DSAD计算部分22将具有与基础像素的y坐标相同的y坐标的右侧像素，设置为第一参考像素。

然后，DSAD计算部分22将处于在y方向上距第一参考像素在预定范围内的右侧像素，设置为第二参考像素。DSAD计算部分22基于基础像素、包括第一参考像素和第二参考像素的参考像素组以及偏移α1，计算用上述表达式（1）表示的DSAD（Δx，j）。

DSAD计算部分22为每一水平视差候选者Δx计算DSAD（Δx，j)。然后，DSAD计算部分22改变基础像素，并且重复所述处理。由此，DSAD计算部分22为每一基础像素计算DSAD（Δx，j）。随后，DSAD计算部分22生成DSAD信息，其中每一基础像素与每一DSAD（Δx，j）相关联，并输出该信息至最小值选择部分23。

在步骤S30中，最小值选择部分23基于所述DSAD信息执行下面的处理。即，最小值选择部分23为每一水平视差候选者Δx选择最小DSAD（Δx，j）。最小值选择部分23将所选择的DSAD（Δx，j）存储在图9中示出的用于视差检测的DP图的每个结点P（x,Δx）中。

此外，最小值选择部分23指定与最小DSAD（Δx，j）对应的参考像素为候选像素。然后，最小值选择部分23将通过从该候选像素的y坐标减去基础像素的y坐标得到的值设置为垂直视差候选者Δy。随后，最小值选择部分23将水平视差候选者Δx与垂直视差候选者Δy关联，并将它们存储在垂直视差候选者存储表中。最小值选择部分23为每一基础像素执行所述处理。

在步骤S40中，锚矢量建立部分24从估值部件40获得先前帧的时间可靠性图，并从图生成部件50获得先前帧的综合视差图。锚矢量建立部分24基于先前帧的时间可靠性图指定视差稳定左侧像素。然后，基于先前帧的综合视差图，锚矢量建立部分24指定先前帧中的视差稳定左侧像素的水平视差d1，即稳定水平视差d1’。随后，锚矢量建立部分24针对每一视差稳定左侧像素生成由上面的表达式（2）表示的锚矢量。此外，当不能获得先前帧的时间可靠性图和综合视差图时，锚矢量建立部分24将矩阵M_d的所有元素设置为0。锚矢量建立部分24生成其中锚矢量与视差稳定左侧像素关联的锚矢量信息，并输出该信息到成本计算部分25。随后，基于锚矢量信息，成本计算部分25更新用于视差检测的DP图的每个结点P（x,d）的值。

在步骤S50中，左眼图像水平差值计算部分261从图像获取部件10获得输入图像V_L。左眼图像水平差值计算部分261为构成输入图像V_L的每一左侧像素计算亮度水平差值dw_L，并生成关于亮度水平差值dw_L的亮度水平差值信息。然后，左眼图像水平差值计算部分261输出该亮度水平差值信息到权重计算部分263。

同时，右眼图像水平差值计算部分262从图像获取部件10获得输入图像V_R，并在该输入图像V_R上执行与上述左眼图像水平差值计算部分261相同的处理。然后，右眼图像水平差值计算部分262输出通过所述处理生成的亮度水平差值信息到权重计算部分263。

随后，基于所述亮度水平差值信息，权重计算部分263为每一左侧像素和右侧像素计算左侧像素的权重wt_L和右侧像素的权重wt_R。

随后，基于权重计算部分263给出的权重信息，路径计算部分264计算从用于视差检测的DP图的起始点到每一结点P（x,Δx）累积的累积成本。

然后，路径计算部分264选择计算出来的累积成本DFI(x,Δx)₀到DFI(x,Δx)₂的最小值，并将所选择的累积成本设置为结点P(x,Δx）的累积成本DFI(x,Δx)。路径计算部分264为每一结点P（x,Δx）计算累积成本DFI(x,Δx)，并将该成本存储在用于视差检测的DP图中。

随后，回程部分27从终点向起点反向经过一路径，通过该路径的累积成本最小，从而计算通过其使从起始点到终点累积的成本最小化的路径。该最短路径中的结点是与该结点对应的左侧像素的水平视差d1。因此，回程部分27通过计算最短路径，检测到左侧像素各自的水平视差d1。

在步骤S60中，回程部分27从垂直视差候选者存储部分21获得与左侧像素的任何一个对应的垂直视差候选者存储表。回程部分27基于所获得的垂直视差候选者存储表，指定与左侧像素的水平视差d1对应的垂直视差候选者Δy，并将所指定的垂直视差候选者Δy设置为该左侧像素的垂直视差d2。从而，回程部分27检测到垂直视差d2。然后，回程部分27为每一左侧像素检测垂直视差d2，并基于检测到的水平视差d1和垂直视差d2生成整体视差图。回程部分27输出生成的整体视差图到DSAD计算部分22、以及估值部件40和图生成部件50。

同时，第二视差检测部件30从图像获取部件10获得输入图像V_L和V_R。此外，第二视差检测部件30从估值部件40获得先前帧的时间可靠性图，并从图生成部件50获得先前帧的综合视差图。

随后，第二视差检测部件30基于先前帧的时间可靠性图指定视差稳定左侧像素。然后，基于先前帧的综合视差图，第二视差检测部件30指定先前帧中的视差稳定左侧像素的水平视差d1和垂直视差d2，即稳定水平视差d1'和稳定垂直视差d2'。随后，锚矢量建立部分24分别将稳定水平视差d1'和稳定垂直视差d2'添加到视差稳定左侧像素的xy坐标，并且将具有用这种方式获得的该xy坐标的右侧像素设置为视差稳定右侧像素。

此外，第二视差检测部件30将每一输入图像V_L和V_R划分成多个像素块。随后，第二视差检测部件30从与每一左侧像素块对应的右侧像素块中，检测与每一左侧像素块中的各个左侧像素对应的对应像素。这里，当意欲检测与视差稳定左侧像素对应的对应像素时，第二视差检测部件30优先地将视差稳定右侧像素检测为对应像素。第二视差检测部件30将通过从该对应像素的x坐标中减去左侧像素的x坐标得到的值设置为该左侧像素的水平视差d1；而将通过从该对应像素的y坐标中减去左侧像素的y坐标得到的值设置为该右侧像素的垂直视差d2。第二视差检测部件30基于检测结果生成局部视差图。第二视差检测部件30输出所生成的局部视差图至估值部件40。

此外，当不能获得先前帧的时间可靠性图和综合视差图时，第二视差检测部件30不检测视差稳定左侧像素，但是执行上述处理。

在步骤S70中，特征量计算部分41基于第一视差检测部件20和第二视差检测部件30给出的视差图等，生成两幅或更多特征量图，并输出所述图至神经网络处理部分42。

随后，神经网络处理部分42将构成每一特征量图的左侧像素的任何左侧像素设置为估值目标像素，并从每一特征量图获得与该估值目标像素对应的值。然后，神经网络处理部分42将这样的值设置为神经网络的输入值In0至In(m-1)，从而获得输出值Out0至Out2。

神经网络处理部分42通过顺序地改变估值目标像素而产生新的输入值In0到In(m-1)，并获得输出值Out0到Out2。由此，神经网络处理部分42生成时间可靠性图、相对可靠性图和多种信息图。神经网络处理部分42输出这样的图到边缘化处理部分43。

随后，边缘化处理部分43在神经网络处理部分42给出的每一图上执行边缘化（平滑）处理。边缘化处理部分43输出经历边缘化处理的相对可靠性图到图生成部件50。而且，边缘化处理部分43输出经历边缘化处理的时间可靠性图到第一视差检测部件20和第二视差检测部件30。此外，边缘化处理部分43提供经历边缘化处理的多种信息图到需要对应的多种信息图的应用。

在步骤S80中，图生成部件50基于整体视差图、局部视差图和相对可靠性图生成综合视差图。图生成部件50向裸眼3D显示装置中的多视角图像生成应用提供该综合视差图。此外，图生成部件50输出该综合视差图到第一视差检测部件20。

而且，图生成部件50基于输入图像V_L和V_R以及综合视差图计算偏移α1。即，图生成部件50基于输入图像V_L和V_R以及综合视差图，计算亮度差值ΔLx的算术平均值E(x)和亮度差值ΔLx的平方的算术平均值E(x²)。然后，图生成部件50基于计算出的算术平均值E(x)和E(x²)以及图14中示出的分类表，确定输入图像V_L和V_R的类别。

随后，图生成部件50基于输入图像V_L和V_R的类别以及图17中示出的偏移对应表，确定偏移α1。图生成部件50输出所确定的偏移α1的偏移信息至第一视差检测部件20。之后，图像处理设备1结束处理。

图19示出根据时间的推移更新局部视差图、整体视差图和综合视差图的情形。图19中的(a)示出其中更新局部视差图的情形。图19中的(b)示出其中更新整体视差图的情形。图19中的(c)示出其中更新综合视差图的情形。

在第0帧（#0）的局部视差图DML0中，出现点噪声。局部匹配具有封闭上的缺点，即稳定性差（精确度容易不均）的缺点，而且在第0帧，很难参考时间可靠性图。

同样地，在第0帧的整体视差图DMG0中，轻微地出现条纹（条纹状噪声）。原因在于，在局部匹配中，精确度趋于取决于输入图像V_L和V_R的质量，并且在y方向的搜索范围稍微窄于在后续帧中的搜索范围。

在第0帧（#0）的综合视差图DM0中，很少出现点噪声和条纹。如所描述的，原因是将综合视差图DM0综合进局部视差图DML0和整体视差图DMG0的高可靠性部分之一。

在第1帧（#1）的局部视差图DML1中，很少出现点噪声。如上所述，原因是第二视差检测部件30能够基于第0帧的时间可靠性图和综合视差图来生成局部视差图DML1。

同样地，在第1帧的整体视差图DMG1中，很少出现条纹。例如，特别是在区域A1中条纹减少了。第一个原因是第一视差检测部件20在计算DSAD时，基于第0帧的整体视差图DMG0实际上增加了y方向上的搜索范围。第二个原因是第一视差检测部件20即使在当前帧中也优先地选择先前帧的稳定水平视差d1'。

第1帧（#1）的综合视差图DM1比第0帧的综合视差图DM0具有更高的精确度。如上所述，原因是将综合视差图DM1综合进局部视差图DML1和整体视差图DMG1的高可靠性部分之一。

在第2帧的图DML2、DMG2和DM2中，反映了第1帧的结果，并且进一步改善了精确度。例如，在整体视差图DMG2的区域A2和A3中，条纹尤其减少了。

<4.图像处理设备的效果>

接下来，将描述图像处理设备1的效果。此外，图像处理设备1从包括第一参考像素和第二参考像素的参考像素组中检测作为对应像素的候选者的候选像素，其中第一参考像素构成输入图像V_R，而第二参考像素的垂直位置不同于第一参考像素的垂直位置。然后图像处理设备1在垂直视差候选者存储表中存储垂直视差候选者Δy，其指示从基础像素的垂直位置到候选像素的垂直位置的距离。

如上所述，图像处理设备1在垂直方向（y方向)上搜索作为对应像素的候选者的候选像素，并且将作为搜索结果的垂直视差候选者Δy存储在垂直视差候选者存储表中。因此，图像处理设备1不仅能够搜索其垂直位置与基础像素的垂直位置相同的右侧像素，也能搜索其垂直位置不同于基础像素的垂直位置的右侧像素。从而可以高健壮度和高精确度地检测水平视差。

此外，在图像处理设备1中，在垂直方向上距离第一参考像素在预定范围内的像素被包括作为参考像素组中的第二参考像素。因此，可以避免y方向上的搜索范围过度增加。即，图像处理设备1能够避免优化问题出现。

而且，图像处理设备1为其水平位置不同的每一第一参考像素产生参考像素组，并将垂直视差候选者Δy与水平视差候选者Δx关联，并将它们存储进垂直视差候选者存储表中。由此，图像处理设备1能够高精度地生成该垂直视差候选者存储表。

如上所述，图像处理设备1比较输入图像V_L和V_R（即，执行匹配处理），并在垂直视差候选者存储表中存储垂直视差候选者Δy。然而，图像处理设备1在垂直视差候选者存储表中存储垂直视差候选者Δy一次，之后执行最短路径等的计算，从而检测水平视差d1。即，因为图像处理设备1通过执行匹配处理一次来检测到水平视差d1，所以可以迅速地检测到水平视差d1。

然后，图像处理设备1在垂直视差候选者存储表中存储的垂直视差候选者Δy中，检测出与水平视差d1对应的垂直视差候选者Δy作为基础像素的垂直视差d2。由此，图像处理设备1能够高精度地检测垂直视差d2。即，图像处理设备1能够执行受到几何不一致影响较少的视差检测。

此外，图像处理设备1将当前帧的右侧像素中相对于当前帧的基础像素具有在先前帧中检测到的垂直视差d2的像素，设置为当前帧的第一参考像素。由此，图像处理设备1能够更新第一参考像素，并且能够基于该第一参考像素形成参考像素组。相应地，图像处理设备1能够实际上增加对于候选像素的搜索范围。

而且，图像处理设备1基于输入图像V_L和V_R之间的亮度差ΔLx，即与颜色不一致对应的偏移α1来计算DSAD（Δx，j），并基于该DSAD（Δx，j）检测候选像素。因此，图像处理设备1能够执行受到颜色不一致影响较少的视差检测。

此外，图像处理设备1不但基于基础像素、第一参考像素和第二参考像素，还基于这些像素的周围像素的亮度，来计算DSAD（Δx，j）。因此，可以高精度地计算DSAD（Δx，j）。具体地，图像处理设备1基于位于相对于基础像素在y方向上偏离的位置的像素、第一参考像素和第二参考像素的亮度，来计算DSAD（Δx，j）。在这点上，可以执行受到几何不一致影响较少的视差检测。

而且，图像处理设备1基于输入图像V_L和V_R的亮度差ΔLx以及亮度差ΔLx的平方，来计算偏移α1。因此，可以高精度地计算偏移α1。具体地，图像处理设备1为每一左侧像素计算亮度差ΔLx和亮度差ΔLx的平方，从而计算其算术平均值E(x)和E(x²)。然后，图像处理设备1基于该算术平均值E(x)和E(x²)计算偏移α1。从而，可以高精度地计算偏移α1。

具体地，图像处理设备1基于分类表来确定先前帧的输入图像V_L和V_R的类别，并基于先前帧的输入图像V_L和V_R的类别来计算偏移α1。所述类别指示输入图像V_L和V_R的清楚程度。因此，图像处理设备1能够高精度地计算偏移α1。

此外，图像处理设备1计算多种特征量图，并将该特征量图的值设置为神经网络处理部分42的输入值In0至In（m-1)。然后，图像处理设备1计算指示整体视差图和局部视差图中的更可靠图的相对可靠性，作为输出值Out1。从而，图像处理设备1能够高精度地执行视差检测。即，图像处理设备1能够生成综合视差图，其中综合了这些图的高可靠性部分。

此外，图像处理设备1通过神经网络计算输出值Out0至Out2。因此，改善输出值Out0至Out2的精确度。而且，在神经网络处理部分42的维护上存在改善（即，变得容易执行所述维护）。此外，结点421之前的连接是复杂的，因此结点421的组合数目庞大。相应地，图像处理设备1能够改善相对可靠性的精度。

此外，图像处理设备1计算指示在后续帧中是否可以使用综合视差图作为参考的时间可靠性，作为输出值Out0。因此，基于该时间可靠性，图像处理设备1能够在后续帧中执行视差检测。从而，图像处理设备1能够高精度地执行视差检测。具体地，图像处理设备1为每一左侧像素生成指示时间可靠性的时间可靠性图。因此，即使在后续帧中，图像处理设备1也能够在综合视差图指示的每一左侧像素的水平视差d1和垂直视差d2之间，优先地选择具有高时间可靠性的视差。

而且，图像处理设备1将DSAD设置为用于视差检测的DP图的得分。因此，与仅将SAD设置为得分的情况相比，可以高精度地计算用于视差检测的DP图的得分。从而，可以高精度地执行视差检测。

此外，图像处理设备1考虑与水平差值对应的权重wt_L和wt_R而计算每一结点P(x,d)的累积成本。因此，可以高精度地计算累积成本。权重wt_L和wt_R在边缘部分小，而在平坦部分大。因此，根据图像适当地执行平滑。

此外，图像处理设备1生成指示整体视差图的边缘图像和输入图像V_L之间的相关性的相关性图，并基于该相关性图计算整体视差图的可靠性。因此，图像处理设备1能够计算整体视差图的所谓的条纹区域的可靠性。从而，图像处理设备1能够在条纹区域高精度地执行视差检测。

而且，图像处理设备1在估值整体视差图和局部视差图时以互不相同的估值方法，来估值整体视差图和局部视差图。因此，可以考虑这样的特征来执行估值。

此外，图像处理设备1将IIR滤波器应用到通过每一估值方法获得的图，以便从而生成整体匹配可靠性图和局部匹配可靠性图。因此，可以生成在时间上稳定的可靠性图。

此外，图像处理设备1通过采用整体视差图和局部视差图中更可靠的视差图来生成综合视差图。因此，图像处理设备1能够在整体匹配中不可能在其中检测视差的区域、和局部匹配中不可能在其中检测视差的区域中，检测到精确的视差。

此外，在后续帧中图像处理设备1考虑所生成的综合视差图。因此，与并行执行多种匹配方法的情况相比，可以高精度地执行视差检测。

如上所述，参考附图详细描述本公开的优选实施例。然而，本公开不限于对应的例子。对本领域技术人员来说，显然在不脱离在此所附的权利要求中描述的技术范围的情况下，可以进行明显的修改、推导和变化。此外，应当理解，这些修改、推导和变化属于本公开的技术范围。

此外，下面的配置同样属于本公开的技术范围。

（1）一种图像处理设备，包括：

图像获取部件，获取基础图像和参考图像，在基础图像和参考图像中在彼此不同的水平位置绘制了相同的对象；以及

视差检测部件，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者、与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者，其中，所述第一参考像素构成参考图像以及所述第二参考像素的垂直位置不同于所述第一参考像素的垂直位置。

（2）根据上述（1）的图像处理设备，其中在视差检测部件中，将在垂直方向上距离第一参考像素在预定范围内的像素包括作为参考像素组中的第二参考像素。

（3）根据上述（1）或（2）的图像处理设备，其中，视差检测部件从多个水平视差候选者中检测基础像素的水平视差，并在垂直视差候选者存储表中存储的垂直视差候选者中，将与该水平视差对应的垂直视差候选者检测为基础像素的垂直视差。

（4）根据上述（3）的图像处理设备，其中，视差检测部件在构成当前帧的参考图像的像素中，将相对于当前帧的基础像素具有在先前帧中检测的垂直视差的像素设置为当前帧的第一参考像素。

（5）根据上述（1）至（4）的任何一者的图像处理设备，进一步包括偏移计算部件，计算与先前帧的基础像素和对应像素的特征量之间的差值对应的偏移，

其中视差检测部件基于在包括基础像素的基础区域中的基础像素特征量、在包括第一参考像素的第一参考区域中的第一参考像素特征量和偏移，计算第一估值；基于基础像素特征量、在包括第二参考像素的第二参考区域中的第二参考像素特征量和偏移，计算第二估值；并基于第一估值和第二估值检测候选像素。

（6）根据上述（5）的图像处理设备，其中，偏移计算部件基于差值和差值的平方来计算偏移。

（7）根据上述（6）的图像处理设备，其中，偏移计算部件基于差值的平均值、差值的平方的平均值、以及指示彼此关联的基础图像和参考图像的类别的分类表，来确定先前帧的基础图像和参考图像的类别；并基于先前帧的基础图像和参考图像的类别，计算偏移。

（8）根据上述（1）至（7）的任何一者的图像处理设备，进一步包括：

第二视差检测部件，通过使用不同于作为视差检测部件的第一视差检测部件的方法，至少检测基础像素的水平视差；以及

估值部件，输入基于基础图像和参考图像计算的算术特征量到神经网络，以便从而获得作为该神经网络的输出值的相对可靠性，其指示通过第一视差检测部件获得的检测结果和通过第二视差检测部件获得的检测结果之间更可靠的检测结果。

（9）根据上述（8）的图像处理设备，其中，估值部件获得作为神经网络输出值的时间可靠性，其指示是否可以在后续帧中参考所述更可靠的检测结果。

（10）一种图像处理方法，包括：

获取基础图像和参考图像，在所述基础图像和参考图像中，在彼此不同的水平位置绘制了相同的对象；以及

基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像并且第二参考像素的垂直位置不同于第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者、与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。

（11）一种使计算机执行如下的程序：

图像获取功能，获取基础图像和参考图像，在所述基础图像和参考图像中，在彼此不同的水平位置绘制了相同的对象；以及

视差检测功能，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中第一参考像素构成所述参考图像并且第二参考像素的垂直位置不同于第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者、与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储该关联的候选者。

本公开包含的主题涉及2011年9月29日在日本专利局提交的日本优先权专利申请JP 2011-214673中公开的主题，通过引用将其全部内容合并于此。

本领域技术人员应用理解，在落入所附权利要求及其等同内容的范围之内的情况下，取决于设计要求和其它因素可以进行各种修改、组合、子组合和变更。

Claims (11)

1.一种图像处理设备，包括：

图像获取部件，获取基础图像和参考图像，在所述基础图像和参考图像中，在彼此不同的水平位置绘制了相同的对象；以及

视差检测部件，基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中所述第一参考像素构成参考图像以及所述第二参考像素的垂直位置不同于所述第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储所述关联的候选者。

2.根据权利要求1的图像处理设备，其中，在视差检测部件中，将在垂直方向上距离第一参考像素在预定范围内的像素包括作为参考像素组中的第二参考像素。

3.根据权利要求1的图像处理设备，其中，视差检测部件从多个水平视差候选者中检测基础像素的水平视差，并在存储部件中存储的垂直视差候选者中将与所述水平视差对应的垂直视差候选者检测作为基础像素的垂直视差。

4.根据权利要求3的图像处理设备，其中，视差检测部件在构成当前帧的参考图像的像素中，将相对于当前帧的基础像素具有在先前帧检测到的垂直视差的像素设置为当前帧的第一参考像素。

5.根据权利要求1的图像处理设备，进一步包括偏移计算部件，计算与先前帧的基础像素和对应像素的特征量之间的差值对应的偏移，

其中，视差检测部件基于在包括基础像素的基础区域中的基础像素特征量、在包括第一参考像素的第一参考区域中的第一参考像素特征量和所述偏移，计算第一估值；基于基础像素特征量、在包括第二参考像素的第二参考区域中的第二参考像素特征量和所述偏移，计算第二估值；并基于第一估值和第二估值检测候选像素。

6.根据权利要求5的图像处理设备，其中，偏移计算部件基于所述差值和所述差值的平方来计算所述偏移。

7.根据权利要求6的图像处理设备，其中，偏移计算部件基于所述差值的平均值、所述差值的平方的平均值、以及指示彼此关联的基础图像和参考图像的类别的分类表，来确定先前帧的基础图像和参考图像的类别；并基于先前帧的基础图像和参考图像的类别，计算所述偏移。

8.根据权利要求1的图像处理设备，进一步包括：

第二视差检测部件，通过使用不同于作为视差检测部件的第一视差检测部件的方法，至少检测基础像素的水平视差；以及

估值部件，输入基于基础图像和参考图像计算的算术特征量到神经网络，以便从而获得作为该神经网络的输出值的相对可靠性，该相对可靠性指示通过第一视差检测部件获得的检测结果和通过第二视差检测部件获得的检测结果之间更加可靠的检测结果。

9.根据权利要求8的图像处理设备，其中，估值部件获得作为神经网络输出值的时间可靠性，该时间可靠性指示是否可以在后续帧中参考所述更加可靠的检测结果。

10.一种图像处理方法，包括：

获取基础图像和参考图像，在所述基础图像和参考图像中，在彼此不同的水平位置绘制了相同的对象；以及

基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中所述第一参考像素构成参考图像以及所述第二参考像素的垂直位置不同于所述第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储所述关联的候选者。

11.一种使计算机执行如下功能的程序：

获取基础图像和参考图像，在所述基础图像和参考图像中，在彼此不同的水平位置绘制了相同的对象；以及

基于基础像素以及包括第一参考像素和第二参考像素的参考像素组，从该参考像素组中检测作为与构成基础图像的基础像素对应的对应像素的候选者的候选像素，其中所述第一参考像素构成参考图像以及所述第二参考像素的垂直位置不同于所述第一参考像素的垂直位置，将指示从所述基础像素的水平位置到所述候选像素的水平位置的距离的水平视差候选者与指示从所述基础像素的垂直位置到所述候选像素的垂直位置的距离的垂直视差候选者关联，并在存储部件中存储所述关联的候选者。

Images