CN102984531A

CN102984531A - 图像处理设备、图像处理方法以及程序

Info

Publication number: CN102984531A
Application number: CN2012100852657A
Authority: CN
Inventors: 周藤泰广
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-03-28
Filing date: 2012-03-28
Publication date: 2013-03-20
Also published as: US20120249536A1; US9087375B2

Abstract

一种图像处理设备包括：水平视差检测单元，用于在在相互不同的水平位置上描绘同一被摄物的标准图像和参考图像中，将构成标准图像的标准像素与构成参考图像的像素当中，处在与标准像素相同的高度位置上的第一参考像素和处在与第一参考像素不同的高度位置上的第二参考像素相比较，并根据比较结果检测标准像素的水平视差。

Description

图像处理设备、图像处理方法以及程序

技术领域

本公开涉及图像处理设备、图像处理方法以及程序。

背景技术

可以不使用专用于立体视图的眼镜地立体显示图像的自动立体显示器已经众所周知。自动立体显示器获取在不同水平位置上描绘同一被摄物的多个图像。自动立体显示器在多个图像当中相互比较作为含有描绘在其中的被摄物的部分的被摄物图像，并且检测被摄物图像之间水平位置的差异，即，水平视差。自动立体显示器根据所检测的水平视差和所获取的图像创建多个多视点图像，并立体显示多视点图像。公开在JP-A-2006-164297中的局部匹配方法和公开在日本专利第4410007号的全局匹配方法被认为是允许自动立体显示器检测水平视差的方法。

发明内容

但是，局部匹配方法存在视差检测的健壮性和精确性低的问题。相反，全局匹配方法存在当自动立体显示器获取的图像的质量高时，也就是说，当在被摄物图像之间不存在垂直位置的差异(无垂直差异)时，视差检测的健壮性高，而当在被摄物图像之间存在垂直位置的差异(垂直差异)时，视差检测的健壮性和精确性极低的问题。

因此，希望提供可以高健壮性和精确性地检测水平视差的图像处理设备、图像处理方法以及程序。

本公开的一个实施例旨在提供包括如下的图像处理设备：水平视差检测单元，用于在在相互不同的水平位置上描绘同一被摄物的标准图像和参考图像中，将构成标准图像的标准像素与构成参考图像的像素当中，处在与标准像素相同的高度位置上的第一参考像素和处在与第一参考像素不同的高度位置上的第二参考像素相比较，并根据比较结果检测标准像素的水平视差。

所述水平视差检测单元可以计算用于估计包括标准像素的标准区域中的特征量与包括第一参考像素的第一参考区域中的特征量之差的第一估计值、和用于估计标准区域中的特征量与包括第二参考像素的第二参考区域中的特征量之差的第二估计值，并且可以根据第一估计值和第二估计值检测标准像素的水平视差。

所述图像处理设备可以进一步包括：校正执行单元，用于在检测水平视差之前校正标准图像和参考图像；以及校正可靠性计算单元，用于计算所述校正执行单元中的校正的可靠性，以及所述水平视差检测单元可以根据所述校正可靠性计算单元计算的可靠性计算第一估计值和第二估计值。

所述水平视差检测单元可以计算每单位时间标准像素的特征量的变化，并且可以根据所计算的变化计算第一估计值和第二估计值。

所述水平视差检测单元可以通过降低标准图像的分辨率创建马赛克图像，可以计算标准图像中的标准像素的特征量与马赛克图像中的标准像素的特征量之差，并且可以根据所计算的差值计算第一估计值和第二估计值。

所述水平视差检测单元可以创建一个节点包括标准像素的水平位置和标准像素的水平视差作为它的成分，和该节点具有第一估计值和第二估计值当中通过使用第一估计值和第二估计值估计的差值的绝对值较小的估计值作为它的得分的DP图，可以根据标准像素与标准像素外围区域的像素之间的特征量差值、处在与标准像素相同的位置上的标准对应像素与构成参考图像的像素当中标准对应图像外围区域的像素之间的特征量差值、和节点的得分计算从起点到对应节点的累积成本，可以计算从起点到终点的累积成本最小的最短路径，并且可以根据所计算的最短路径检测标准像素的水平视差。

可以将第二参考像素与第一参考像素之间的高度位置差限制在预定范围内。

所述图像处理设备可以进一步包括：第二水平视差检测单元，用于通过使用除了作为第一水平视差检测单元的所述水平视差检测单元使用的检测方法之外的其它检测方法检测标准像素的水平视差；以及差异图整合单元，用于计算所述第一水平视差检测单元检测的标准像素的水平视差和所述第二水平视差检测单元检测的标准像素的水平视差的可靠性，并且创建指示对于标准像素来说具有较高可靠性的水平视差的差异图。

所述差异图整合单元可以分别使用不同估计方法计算所述第一水平视差检测单元检测的标准像素的水平视差和所述第二水平视差检测单元检测的标准像素的水平视差的可靠性。

本公开的另一个实施例旨在提供包括如下的图像处理方法：在在相互不同的水平位置上描绘同一被摄物的标准图像和参考图像中，将构成标准图像的标准像素与构成参考图像的像素当中，处在与标准像素相同的高度位置上的第一参考像素和处在与第一参考像素不同的高度位置上的第二参考像素相比较；以及根据比较结果检测标准像素的水平视差。

本公开的又一个实施例旨在提供使计算机执行如下水平视差检测功能的程序：在在相互不同的水平位置上描绘同一被摄物的标准图像和参考图像中，将构成标准图像的标准像素与构成参考图像的像素当中，处在与标准像素相同的高度位置上的第一参考像素和处在与第一参考像素不同的高度位置上的第二参考像素相比较；以及根据比较结果检测标准像素的水平视差。

按照本公开的上述实施例，由于在检测标准像素的水平视差的时候，除了处在与标准像素相同的高度位置上的第一参考像素之外，还考虑了处在与标准像素不同的高度位置上的第二参考像素，所以可以检测水平视差对几何差异(垂直差异)的健壮性。其结果是，按照本公开的实施例，可以高健壮性和精确性地检测水平视差。

附图说明

图1是示意性地例示自动立体显示器中的过程的流程的流程图；

图2A和2B是例示输入图像之间的颜色差异的图形；

图3A和3B是例示输入图像之间的几何差异的图形；

图4是例示创建视差图(差异图)和多视点图像的状况的图形；

图5是例示按照本公开一个实施例的图像处理设备的配置的方块图；

图6是例示颜色校准单元的配置的方块图；

图7是例示直方图匹配单元的配置的方块图；

图8A和8B是例示将输入图像划分成多个块的状况的图形；

图9A和9B是例示为每个块创建的颜色直方图的图形；

图10是用于颜色直方图匹配的颜色对应检测DP图；

图11是例示线性颜色参数拟合单元的配置的方块图；

图12A到12D是例示经由颜色校准的图像和未经过颜色校准的图像的γ曲线以便相互比较的图形；

图13是例示非线性颜色参数拟合单元的配置的方块图；

图14是例示估计单元的配置的方块图；

图15A和15B是例示进行颜色校准之后创建的多视点图像和未进行颜色校准创建的多视点图像以便相互比较的图形；

图16是例示几何校准单元的配置的方块图；

图17是例示经过特征量匹配处理的输入图像的图形；

图18是例示对应点细化单元的配置的方块图；

图19是例示每个块中的矢量的频率分布的直方图；

图20是例示平均移动处理的状况的图形；

图21是例示线性几何参数拟合单元的配置的方块图；

图22是例示初始化单元的配置的方块图；

图23是用于确定指示应该如何将时间限制应用于F矩阵的权重的曲线图；

图24是例示线性几何参数计算单元的配置的方块图；

图25是例示非线性几何参数拟合单元的配置的方块图；

图26A和26B是例示未受时间限制的F矩阵的参数和受时间限制的F矩阵的参数随着时间的流逝而变的状况的曲线图；

图27是例示F-矩阵随着时间的流逝而收敛的状况的曲线图；

图28是例示线性几何参数拟合单元的另一个例子的方块图；

图29是例示投影分量计算单元的配置的方块图；

图30是例示旋转分量计算单元的配置的方块图；

图31是例示平移分量计算单元的配置的方块图；

图32是例示线性几何参数拟合单元的另一个例子的方块图；

图33是例示用于更新F矩阵的更新表的图形；

图34是例示利用更新表更新的F矩阵随着时间的流逝而收敛的状况的曲线图；

图35是例示经过几何校准的F矩阵的分量与误差值之间的对应关系的曲线图；

图36是例示图像调整中的几何校准的状况的图形；

图37是例示视差检测单元的配置的方块图；

图38是例示全局匹配单元的配置的方块图；

图39是例示运动描述单元的配置的方块图；

图40是例示锚定矢量构造单元的配置的方块图；

图41是例示视差频率的局部直方图；

图42是例示路径构建单元的配置的方块图；

图43是例示用于视差匹配的DP图的图形；

图44A和44B是例示可靠性图的图形；

图45A、45B和45C是例示根据各种视差图创建的多视点图像的图形；

图46是例示颜色校准的过程的流程图；

图47是例示几何校准的过程的流程图；以及

图48是例示视差检测的过程的流程图。

具体实施方式

在下文中，将参考附图对本公开的实施例作详细描述。在说明书和附图中，具有基本相同功能的元件用相同标号引用，并且不重复对它们的描述。

该描述按如下次序作出：

1.自动立体显示器进行的处理

2.图像处理设备的配置

2-1.颜色校准单元的配置

2-2.几何校准单元的配置

2-3.视差检测单元的配置

3.图像处理设备进行的处理

<1.自动立体显示器进行的处理>

本公开的发明人深入研究了可以不使用专用于立体视图的眼镜地立体显示图像的自动立体显示器，并实现了按照这个实施例的图像处理设备。这里，立体显示指的是通过使观众识别双目视差立体显示图像。

下面首先参考显示在图1中的流程图描述包括图像处理设备的自动立体显示器进行的处理。

在步骤S1中，自动立体显示器获取当前帧的输入图像V_L和V_R。图2A和2B以及图3A和3B示出了输入图像V_L和V_R的例子。在这个实施例中，将输入图像V_L和V_R的最左上角像素定义为原点，将它的水平方向定义为x轴，将它的垂直方向定义为y轴。向右方向是x轴的正方向，向下方向是y轴的正方向。每个像素具有坐标信息(x，y)和颜色信息(亮度(色值)、色度、和色调)。在下文中，将输入图像V_L(以及对输入图像V_L进行校准获得的图像)中的像素也称为“左坐标点”，将输入图像V_R(以及对输入图像V_R进行校准获得的图像)中的像素也称为“右坐标点”。

如图2A和2B以及图3A和3B所示，在输入图像V_L和V_R中，在不同水平位置(x坐标)上描绘同一被摄物(例如，大海、鱼类、企鹅)。

在显示在图2A和2B中的输入图像V_L和V_R之间存在颜色差异。也就是说，同一被摄物在输入图像V_L与输入图像V_R之间呈现不同颜色。例如，被摄物图像V_L1和被摄物图像V_R1显示同一大海，但颜色不同。另一方面，显示在图3A和3B中的输入图像V_L和V_R在它们之间存在几何差异。也就是说，在不同高度位置(y坐标)上描绘同一被摄物。例如，被摄物图像V_L2和被摄物图像V_R2显示同一企鹅，但被摄物图像V_L2的y坐标和被摄物图像V_R2的y坐标相互不同。为了易于理解几何差异，在图3A和3B中描绘了直线L1和L2。

因此，自动立体显示器通过进行颜色校准和几何校准缩小这样的差异。也就是说，颜色校准是校正输入图像V_L和V_R之间的颜色差异的过程，几何校准是校正输入图像V_L和V_R之间的几何差异的过程。

在步骤S2中，自动立体显示器根据让输入图像V_L和V_R全面经过颜色校准和几何校准所得的校准图像V_L-2和V_R-2检测视差。视差检测的状况显示在图4中。

如图4所示，自动立体显示器计算校准图像V_L-2中的坐标点P_L-21与核线EP_R-21中的点之间的水平视差d1(x坐标的差值)，并且将更佳者，即，相对于坐标点P_R-21的水平视差设置成坐标点P_L-21的水平视差d1。这里，核线EP_R-21是描绘在校准图像V_R-2中，具有与坐标点P_L-21相同的y坐标，和沿着水平方向延伸的直线。这种检测是可能的，因为自动立体显示器事先进行了校准，缩小了校准图像V_L-2与校准图像V_R-2之间的几何差异。

自动立体显示器通过对校准图像V_L-2中的所有像素计算水平视差d1创建视差图(差异图)DM。视差图DM描述校准图像V_L-2中的所有像素的水平视差d1。在图4中，用对比密度表达水平视差d1的程度。

在步骤S3中，自动立体显示器根据视差图DM和校准图像V_L-2和V_R-2创建多视点图像V_V。例如，显示在图4中的多视点图像V_V是在校准图像V_L-2与校准图像V_R-2之间内插出来的图像。因此，在像素P_L-21与像素P_R-21之间存在指示与被摄物中像素P_L-21所指的点相同的点的像素P_V1。

这里，多视点图像V_V是自动立体显示器立体显示的图像，对应于不同视点(观众眼睛的位置)。也就是说，观众眼睛识别的多视点图像V_V随观众眼睛的位置而变。例如，由于观众的右眼和左眼处在不同位置上，所以它们看到不同的多视点图像V_V。于是，观众可以立体地观看多视点图像V_V。当观众的视点随着观众的移动而改变，但存在与改变的视点相对应的多视点图像V_V时，观众可以立体地观看多视点图像V_V。这样，随着多视点图像V_V的数量增加，观众可以在更多位置上立体地观看多视点图像V_V。随着多视点图像V_V的数量增加，不太可能发生相反观看，即，观众右眼要看到的多视点图像V_V被观众左眼看到的现象。通过创建多个多视点图像V_V，可以表达运动视差。

在步骤S4中，自动立体显示器进行后退。这个过程示意性地是取决于细节再次校正多视点图像的过程。在步骤S5中，自动立体显示器立体显示多视点图像V_V。

<2.图像处理设备的配置>

下面参考附图描述按照这个实施例的图像处理设备1的配置。如图5所示，图像处理设备1包括颜色校准单元2、几何校准单元3、和视差检测单元4。颜色校准单元2对当前帧的输入图像V_L和V_R进行上述颜色校准，几何校准单元3对让输入图像V_L和V_R经过颜色校准所得的颜色校准图像V_L-1和V_R-1进行上述几何校准。视差检测单元4对校准图像V_L-2和V_R-2进行上述视差检测。因此，图像处理设备1进行自动立体显示器进行的处理当中的步骤S1到S2的处理。

<2-1.颜色校准单元的配置>

下面参考图6描述颜色校准单元2的配置。如图6所示，颜色校准单元2包括直方图匹配单元201、线性颜色参数拟合单元202、特征量匹配单元203、非线性颜色参数拟合单元204、估计单元205、和颜色校准执行单元206。

[直方图匹配单元的配置]

如图7所示，直方图匹配单元201包括块划分单元207、直方图创建单元208、DP(动态编排)匹配单元209、和颜色对计算单元210。

如图8A所示，块划分单元207将输入图像V_L划分成八个像素块B_l-1。这里，每个像素块B_l-1都是长方形，具有相同尺寸。块划分单元207提取用作每个像素块B_l-1的中心点的像素，并将所提取像素的坐标设置成对应像素块B_L-1的坐标。

类似地，如图8B所示，块划分单元207将输入图像V_R划分成八个像素块B_R-1。这里，每个像素块B_R-1具有与像素块B_L-1相同的形状和尺寸。块划分单元207提取用作每个像素块B_R-1的中心点的像素，并将所提取像素的坐标设置成对应像素块B_R-1的坐标。于是，在各自像素块B_L-1中存在具有相同坐标的像素块B_R-1。换句话说，像素块B_L-1和像素块B_R-1相互一一对应。因此，块划分单元207将像素块B_L-1和像素块B_R-1相互关联。像素块B_L-1和B_R-1的数量不局限于八个。

块划分单元207将像素块B_L-1和B_R-1的灰度级降低到64个灰度级。像素块B_L-1和B_R-1的灰度级不局限于64个灰度级。原始输入图像V_L和V_R的灰度级未受到特别限制，而是，例如，1024个灰度级。块划分单元207将有关像素块B_L-1和B_R-1的块信息输出到直方图创建单元208。

直方图创建单元208根据块信息进行如下处理。也就是说，直方图创建单元208为每个像素块B_L-1创建如图9A所示的颜色直方图CH_L。颜色直方图CH_L代表每个像素块B_L-1中的亮度分布，即，亮度与具有该亮度的像素的数量(频率)之间的对应关系。这里，亮度用0到63的整数表达。类似地，直方图创建单元208为每个像素块B_R-1创建如图9B所示的颜色直方图CH_R。颜色直方图CH_R代表每个像素块B_R-1中的亮度分布，即，亮度与具有该亮度的像素的数量(频率)之间的对应关系。由于像素块B_L-1和像素块B_R-1以一对一方式相互对应，所以颜色直方图CH_L和颜色直方图CH_R也以一对一方式相互对应。因此，直方图创建单元208将颜色直方图CH_L和颜色直方图CH_R相互关联。直方图创建单元208创建有关颜色直方图CH_L和CH_R的颜色直方图信息，并将创建的颜色直方图信息输出到DP匹配单元209。

DP匹配单元209(匹配单元)根据颜色直方图信息对像素块B_L-1和与像素块B_L-1相对应的像素块B_R-1的每个组进行如下处理。也就是说，DP匹配单元209首先创建如图10所示的颜色对应检测DP图。颜色对应检测DP图的垂直轴代表像素块B_L-1中的亮度的频率。例如，FL(n_L)代表亮度n_L(其中n_L是0到63的整数)的频率。另一方面，颜色对应检测DP图的水平轴代表像素块B_R-1中的亮度的频率。例如，FL(n_R)代表亮度n_R(其中n_R是0到63的整数)的频率。指示频率FL(n_L)和FL(n_R)的节点用P(n_L，n_R)表达。

DP匹配单元209将节点P(0，0)设置成起点，将节点P(63，63)设置成终点，并按如下定义从起点到节点P(n_L，n_R)的累积成本。

DFI(n_L，n_R)₀＝DFI(n_L，n_R-1)+|FL(n_L)-FL(n_R)|...(1)

DFI(n_L，n_R)₁＝DFI(n_L-1，n_R)+|FL(n_L)-FL(n_R)|...2)

DFI(n_L，n_R)₂＝DFI(n_L-1，n_R-1)+|FL(n_L)-FL(n_R)|...(3)

这里，DFI(n_L，n_R)₀代表经由路径PA_C0到节点P(n_L，n_R)的累积成本，DFI(n_L，n_R)₁代表经由路径PA_C1到节点P(n_L，n_R)的累积成本，和DFI(n_L，n_R)₂代表经由路径PA_C2到节点P(n_L，n_R)的累积成本。DFI(n_L，n_R-1)代表从起点到节点P(n_L，n_R-1)的累积成本。DFI(n_L-1，n_R)代表从起点到节点P(n_L-1，n_R)的累积成本。DFI(n_L-1，n_R-1)代表从起点到节点P(n_L-1，n_R-1)的累积成本。

DP匹配单元209通过计算从起点到包括终止的节点的累积成本和回溯从终点到起点具有最小累积成本的路径计算最短路径，即，从起点到终点的累积成本最小的路径。最短路径中的节点代表彼此相似的亮度对。例如，当最短路径通过节点P(n_L，n_R)时，亮度n_L和亮度n_R彼此相似。DP匹配单元209创建有关为像素块B_L-1和像素块B_R-1的每个组计算的最短路径的最短路径信息，并将创建的最短路径信息输出到颜色对计算单元210。

颜色对计算单元210根据最短路径信息为像素块B_L-1和像素块B_R-1的每个组计算颜色对。也就是说，颜色对计算单元210计算最短路径中的节点所指的一对亮度。即，彼此相似的一对亮度作为颜色对。颜色对计算单元210为每个像素块B_L-1计算250个颜色对，总共计算2000个颜色对。颜色对计算单元210创建有关所计算颜色对的颜色对信息，并将创建的颜色对信息输出到线性颜色参数拟合单元202和非线性颜色参数拟合单元204。

于是，由于直方图匹配单元201将像素块B_L-1和像素块B_R-1的灰度级降低成低于输入图像V_L和V_R的灰度级，所以可以减少像直方图CH_L和CH_R那样的数据量。由于通过降低灰度级将输入图像V_L和V_R的多种亮度分类成一种亮度，所以认为颜色校准的精度降低了。因此，直方图匹配单元201通过从多个像素块B_L-1和B_R-1中计算颜色对，即，增加颜色对的数量包容精度的降低。

[线性颜色参数拟合单元]

如图11所示，线性颜色参数拟合单元202包括相加矩阵计算单元211、系数计算单元212、滤波单元213、和系数存储单元214。

线性颜色参数拟合单元202通过使用线性运算，根据颜色对信息计算代表输入图像V_L的亮度与输入图像V_R的亮度之间的对应关系的模型公式。首先考虑该模型公式。

当假设输入图像V_L和V_R的γ值接近1时，输入图像V_L的亮度通过输入图像V_R的亮度表达如下。

L＝(1+α)r^(1+γ)·255...(4)

r＝R/255...(5)

这里，L代表输入图像V_L的亮度，和R代表输入图像V_R的亮度。另外，α代表自动立体显示器的增益，和γ代表自动立体显示器的γ值。也就是说，输入图像V_L和V_R的亮度受增益和γ值限制。这样，可以获得无暗淡图像。通过将表达式(4)泰勒(Tailor)展开可以获得表达式(6)。

L \approx w_{0} \cdot R + \underset{i = 1}{Σ} w_{i} \cdot R \cdot {\log (r)}^{i} . . . (6)

这里，w_i(其中i是大于等于0的整数)代表系数，即，颜色校正系数。表达式(6)是模型公式。通过将补偿项w_a加入表达式(6)中获得的表达式(7)可以比表达式(6)更精确地跟随输入图像V_L和V_R的亮度的变化。因此，线性颜色参数拟合单元202将表达式(6)或表达式(7)用作模型公式(即，近似)。

L \approx w_{0} \cdot R + \underset{i = 1}{Σ} w_{i} \cdot R \cdot \log {(r)}^{i} + w_{a} = g_{1} (R, coef (w)) . . . (7)

这里，coef(w)代表颜色校正系数w_i和w_a。

下面描述上述元件进行的处理。相加矩阵计算单元211为所有颜色对计算由表达式(8)表达的矩阵。

(\begin{matrix} 1.0 \\ L \\ L \cdot \log (l) \\ . . . \\ L \cdot \log {(l)}^{n 1 - 1} \end{matrix}) (\begin{matrix} 1.0 & L & L \cdot \log (l) & . . . & L \cdot \log {(l)}^{n 1 - 1} \end{matrix}) . . . (8)

l＝L/255.0

这里，n1是大于等于2的整数，n1值的增大使要计算的系数的数量增加，并且使模型公式的精度得到改善。n1的值由所希望精度和处理速度决定，例如，在2到5的范围内。

相加矩阵计算单元211通过相加所有计算的矩阵计算由表达式(9)表达的相加矩阵M₁。

M_{1} = Σ (\begin{matrix} 1.0 \\ L \\ L \cdot \log (l) \\ . . . \\ L \cdot \log {(l)}^{n 1 - 1} \end{matrix}) (\begin{matrix} 1.0 & L & L \cdot \log (l) & . . . & L \cdot \log {(l)}^{n 1 - 1} \end{matrix}) . . . (9)

相加矩阵计算单元211创建有关所计算相加矩阵M₁的相加矩阵信息，并将创建的相加矩阵信息与颜色对信息一起输出到系数计算单元212。

系数计算单元212(模型公式计算单元)根据颜色对信息为所有颜色对计算由表达式(10)表达的矩阵。

R(1.0 L L·log(l)...L·log(l)^n1-1)...(10)

系数计算单元212通过相加所有计算的矩阵计算由表达式(11)表达的系数计算矩阵A。

A＝∑R(1.0 L L·log(l)...L·log(l)^n1-1)...(11)

然后，系数计算单元212根据表达式(12)计算颜色校正系数w_i和w_a的第一初始值coef(w)₁。

(w_a w₀ w₁...w_n1-1)＝coef(w)₁＝M₁ ^-1·A...(12)

系数计算单元212创建有关所计算第一初始值coef(w)₁的第一初始值信息，并将创建的第一初始值信息输出到滤波单元213。

滤波单元213根据从系数计算单元212获取的第一初始值信息、从系数存储单元214中获取的前帧(正好在当前帧之前的帧)的线性校正系数信息、和表达式(13)计算颜色校正系数w_i和w_a的第二初始值coef(w)₂。

coef(w)₂＝(1-w_b)·coef(w)₁+w_b·oldcoef(linear)...(13)

这里，oldcoef(linear)代表前帧的线性校正系数，即，前帧的颜色校正系数w_i和w_a，w_b代表指示将多少前帧的线性校正系数oldcoef(linear)应用于第二初始值coef(w)₂的权重。随着权重w_b的值越来越大(权重增大)，线性校正系数oldcoef(linear)更大地作用于第二初始值coef(w)₂。权重w_b的值，例如，在0.5到0.9的范围内。

滤波单元213将IIR滤波器应用于第二初始值coef(w)₂。滤波单元213将所得颜色校正系数w_i和w_a设置成线性校正系数coef(linear)，并且将有关线性校正系数coef(linear)的线性校正系数信息输出到系数存储单元214、非线性颜色参数拟合单元204、估计单元205、和颜色校准执行单元206。

系数存储单元214存储滤波单元213供应的线性校正系数信息，并且在计算下一帧的第二初始值coef(w)₂时，将存储的线性校正系数信息输出到滤波单元213作为前帧的线性校正系数信息。

图12A到12D示出了通过使用线性校正系数coef(linear)校正的输入图像V_L和V_R的γ曲线L1和未对每个γ值加以校正的输入图像V_L和V_R的γ曲线L2以便相互比较。也就是说，图12A示出了γ＝0.6的例子，图12B示出了γ＝0.8的例子，图12C示出了γ＝1.2的例子，和图12D示出了γ＝1.4的例子。在图12A到12D中，将表达式(6)用作模型公式，并设置n1＝2。按照图12A到12D，颜色校准单元2通过使用线性校正系数coef(linear)进行颜色校准，可以在基本保持输入图像V_L和V_R的亮度或饱和度的同时校正亮度。

[特征量匹配单元的配置]

显示在图6中的特征量匹配单元203通过将当前帧的输入图像V_L和V_R的亮度相互匹配提取颜色对。具体地说，特征量匹配单元203从输入图像V_L和V_R中提取亮度高于预定值(例如，在32到1024的范围内)的特征点。然后，特征量匹配单元203对输入图像V_L的各自特征点进行如下处理。也就是说，特征量匹配单元203从存在于输入图像V_L的特征点周围的输入图像V_R的特征点(即，其中x坐标之差的绝对值在64到256的范围内，y坐标之差的绝对值在8到64的范围内)当中提取具有最相似亮度(即，最小亮度差绝对值)的特征点。并且将提取的特征点和输入图像V_L的特征点设置成一对特征点，即，颜色对。然后，特征量匹配单元203创建有关所提取颜色对的颜色对信息，并将创建的颜色对信息输出到非线性颜色参数拟合单元204和估计单元205。

[非线性颜色参数拟合单元的配置]

非线性颜色参数拟合单元204根据从直方图匹配单元201和特征量匹配单元203供应的颜色对信息、和从线性颜色参数拟合单元202供应的线性校正系数信息，通过使用非线性运算计算线性校正系数w_i和w_a。

具体地说，如图13所示，非线性颜色参数拟合单元204包括雅可比(Jacobian)矩阵计算单元215、海赛(Hessian)矩阵计算单元216、和系数更新单元217。

雅可比矩阵计算单元215根据线性颜色参数拟合单元202供应的线性校正系数信息、和直方图匹配单元201和特征量匹配单元203供应的颜色对信息计算由表达式(14)表达的雅可比矩阵J₁。

J_{1} = f_{e 1} (L, R, coef (w)) \cdot d_{coef} f_{e 1} (L, R, coef (w))

= f_{e 1} (L, R, coef (w)) \cdot (\begin{matrix} {&PartialD; f}_{e 10} / {&PartialD; w}_{a} & {&PartialD; f}_{e 10} / {&PartialD; w}_{1} & . . . & {&PartialD; f}_{e 10} / {&PartialD; w}_{n 1 - 1} \\ . . . & . . . & . . . & . . . \\ {&PartialD; f}_{e 1 m} / {&PartialD; w}_{a} & {&PartialD; f}_{e 1 m} / {&PartialD; w}_{1} & . . . & {&PartialD; f}_{e 1 m} / {&PartialD; w}_{n 1 - 1} \end{matrix}) . . . (14)

这里，L代表输入图像V_L的亮度，R代表输入图像V_R的亮度，和coef(w)代表颜色校正系数w_i和w_a。另外，f_e1(L，R，coef(w))是误差函数，由表达式(15)表达。f_e10到f_e1m通过将不同颜色对信息代入误差函数f_e1(L，R，coef(w))中获得。

f_e1(L，R，coef(w))＝RobustFunc(L-g₁(R，coef(w)))...(15)

这里，由于如表达式(7)所表达，g₁(R，coef(w))是通过使用输入图像V_R的亮度和颜色校正系数w_i和w_a近似表示输入图像V_L的亮度的表达式，所以(L-g₁(R，coef(w)))的值代表输入图像V_L的实际值与近似值之间的误差。RobustFunc是将误差归一化成0到1范围内的值的函数，它由，例如，表达式(16)表达。

RobustFunc(error)＝w_c·error/(error×w_c+1)...(16)

这里，w_c代表系数(权重)，例如，在0.1到8.0的范围内。在表达式(15)中，误差是(L-g₁(R，coef(w)))，但是，误差也可以具有像(g₁(L，coef(w))-g₁(R，coef(w)))那样的不同值。这里，g₁(L，coef(w))是通过使用输入图像V_L的亮度和颜色校正系数w_i和w_a近似表示输入图像V_R的亮度获得的值，由表达式7-1和7-2表达。

R \approx w_{0} \cdot L + \underset{i = 1}{Σ} w_{i} \cdot L \cdot {\log (l)}^{i} + w_{a} = g_{1} (L, coef (w)) . . . (7 - 1)

l＝L/255...(7-2)

雅可比矩阵计算单元215创建有关所计算雅可比矩阵J₁的雅可比矩阵信息，并将创建的雅可比矩阵信息输出到海赛矩阵计算单元216。

当后面所述的系数更新单元217供给非线性校正系数信息时，雅可比矩阵计算单元215根据非线性校正系数信息指示的非线性校正系数coef(nonlinear)和颜色对信息计算雅可比矩阵J₁。雅可比矩阵计算单元215创建有关所计算雅可比矩阵J₁的雅可比矩阵信息，并将创建的雅可比矩阵信息输出到海赛矩阵计算单元216。

海赛矩阵计算单元216根据雅可比矩阵计算单元216供应的信息计算由表达式(17)表达的海赛矩阵H₁。

H₁＝d_coef f(L，R，coef(w))·d_coef f(L，R，coef(w))...(17)

然后，海赛矩阵计算单元216创建有关所计算海赛矩阵H₁的海赛矩阵信息，并将创建的海赛矩阵信息与雅可比矩阵计算单元215供应的信息一起输出到系数更新单元217。

系数更新单元217根据海赛矩阵计算单元216供应的信息和表达式(18)计算颜色校正系数w_i和w_a作为非线性校正系数coef(nonlinear)。

coef(nonlinear)＝(H₁+w_d·I)^-1·J₁+coef(w)...(18)

这里，I代表单位矩阵，和w_d代表系数(权重)，例如，在1.0到0.0的范围内。

然后，系数更新单元217创建有关所计算非线性校正系数coef(nonlinear)的非线性校正系数信息，并确定非线性校正系数coef(nonlinear)是否收敛在常数值上。系数更新单元217在确定非线性校正系数coef(nonlinear)收敛时，将非线性校正系数信息输出到估计单元205和颜色校准执行单元206，而在确定非线性校正系数coef(nonlinear)不收敛时，将非线性校正系数信息输出到雅可比矩阵计算单元215。此后，再次计算非线性校正系数coef(nonlinear)。因此，非线性颜色参数拟合单元204将线性校正系数coef(linear)作为初始值计算非线性校正系数coef(nonlinear)，并重复计算非线性校正系数coef(nonlinear)直到非线性校正系数coef(nonlinear)收敛在常数值上。

[估计单元的配置]

如图14所示，估计单元14(校正可靠性计算单元)包括颜色转换单元218、基于直方图可靠性计算单元219、基于特征点可靠性计算单元220、和可靠性图创建单元221。

颜色转换单元218获取当前帧的输入图像V_L和V_R。颜色转换单元218根据输入图像V_L和V_R和线性颜色参数拟合单元202供应的线性校正系数信息校正输入图像V_R的亮度。具体地说，颜色转换单元218通过将输入图像V_R的亮度和线性校正系数coef(linear)代入表达式(7)的g₁(R，coef)中计算g₁(R，coef)的值。由于所计算值代表与输入图像V_R的亮度相对应的输入图像V_L的亮度，所述颜色转换单元218将这个值设置成输入图像V_R的新亮度。于是，缩小了输入图像V_L的亮度与输入图像V_R的亮度之间的差值。颜色转换单元218将输入图像V_L和校正后输入图像V_R作为线性颜色校准图像V_L-1a和V_R-1a输出到基于直方图可靠性计算单元219。

基于直方图可靠性计算单元219将线性颜色校准图像V_L-1a和V_R-1a的每一个划分成八个像素块B_L-1和B_R-1。这里，像素块B_L-1和B_R-1与直方图匹配单元201创建的那些相同。基于直方图可靠性计算单元219为像素块B_L-1和B_R-1的每一个创建指示亮度与具有该亮度的像素的数量(频率)之间的对应关系的校正颜色直方图。

基于直方图可靠性计算单元219通过使用归一化交叉关联(NCC)计算像素块B_L-1的校正颜色直方图与像素块B_R-1的校正颜色直方图之间的相似度。计算相似度的方法没有特别限制，但可以使用，例如，相互作用或Bhattacharyya。

基于直方图可靠性计算单元219计算每个像素块B_L-1的相似度，并且通过将所计算相似度代入，例如，表达式(16)的误差中将相似度归一化成0到1的范围。基于直方图可靠性计算单元219将归一化值设置成线性校正系数coef(linear)的可靠性。基于直方图可靠性计算单元219创建有关每个像素块B_L-1的所计算可靠性的线性校正系数可靠性信息，并将创建的线性校正系数可靠性信息输出到可靠性图创建单元221。

基于特征点可靠性计算单元220根据特征量匹配单元203供应的颜色对信息将输入图像V_L的特征点分类成八个像素块B_L-1。这里，像素块B_L-1和B_R-1与直方图匹配单元201创建的那些相同。基于特征点可靠性计算单元220根据非线性颜色参数拟合单元204供应的非线性校正系数信息，为每个像素块B_L-1计算非线性校正系数coef(nonlinear)的可靠性。

也就是说，基于特征点可靠性计算单元220通过使用上述误差函数f_e1(L，R，coef)计算像素块B_L-1中的特征点的误差。也就是说，基于特征点可靠性计算单元220通过将颜色对信息的值代入f_e1(L，R，coef)的L和R中并将非线性校正系数coef(nonlinear)的值代入coef中计算误差。基于特征点可靠性计算单元220提取误差小于等于预定值(例如，0.5到8.0)的特征点，并计算所提取特征点的误差的平均值。基于特征点可靠性计算单元220将所计算平均值设置成非线性校正系数coef(nonlinear)的可靠性。当误差小于等于预定值的特征点的数量小于等于预定值(使，0到8)时，基于特征点可靠性计算单元220将可靠性设置成零。于是，基于特征点可靠性计算单元220为每个像素块B_L-1计算非线性校正系数coef(nonlinear)的可靠性。基于特征点可靠性计算单元220创建有关每个像素块B_L-1的所计算可靠性的非线性校正系数可靠性信息，并将创建的非线性校正系数可靠性信息输出到可靠性图创建单元221。

可靠性图创建单元221根据基于直方图可靠性计算单元219和基于特征点可靠性计算单元220供应的信息创建颜色校准可靠性图。具体地说，可靠性图创建单元221为每个像素块B_L-1将非线性校正系数coef(nonlinear)的可靠性与线性校正系数coef(linear)的可靠性相比较，并将较大的可靠性设置成对应像素块B_L-1的可靠性。可靠性图创建单元221将具有较大可靠性的校正系数与对应像素块B_L-1相关联。于是，可靠性图创建单元221创建使可靠性和校正系数与每个像素块B_L-1相关联的颜色校准可靠性图。可靠性图创建单元221创建有关所创建颜色校准可靠性图的可靠性图信息，并将创建的可靠性图信输出到颜色校准执行单元206和视差检测单元4。

[颜色校准执行单元的配置]

显示在图6中的颜色校准执行单元206(校正执行单元)获取当前帧的输入图像V_L和V_R。然后，颜色校准执行单元206根据可靠性图信息确定将哪些校正系数用于每个像素块B_L-1。颜色校准执行单元206根据线性校正系数信息和非线性校正系数信息为每个像素块B_L-1进行颜色校准。

具体地说，颜色校准执行单元206从每个像素块B_L-1中提取一个像素，将所提取像素的亮度和确定的校正系数代入上述近似值g₁(R，coef)中，并将结果值设置成像素的亮度。颜色校准执行单元206通过对输入图像V_L的所有像素进行这种处理来进行颜色校准。颜色校准执行单元206将颜色校准输入图像V_L和V_R作为颜色校准输入图像V_L-1和V_R-1输出到显示在图5中的几何校准单元3中。

图15A示出了自动立体显示器未进行颜色校准创建的多视点图像V_V1。类似地，图15B示出了自动立体显示器进行颜色校准之后创建的多视点图像V_V2。多视点图像V_V1中的被摄物图像V_V11是断裂的，而多视点图像V_V2中的被摄物图像V_V12是没有断裂的。于是，自动立体显示器可以通过进行颜色校准创建没有断裂的多视点图像。

[由颜色校准单元引起的优点]

下面描述由颜色校准单元2引起的优点。在如下描述中，一些优点与JP-T-2007-535829和JP-A-2009-122842相比较来描述。在描述在JP-T-2007-535829中的技术中，为每个图像创建代表颜色分布的直方图，并通过DP匹配来匹配这些直方图以便创建颜色对应表。在描述在JP-T-2007-535829中的技术中，根据颜色对应表校正每个图像的颜色。另一方面，在描述在JP-A-2009-122842中的技术中，从多个图像中提取特征点(例如，描绘人体肩膀的点)，并根据特征点之间的颜色对应关系计算颜色转换模型公式。在描述在JP-A-2009-122842中的技术中，根据计算的模型公式校正图像的颜色。

颜色校准单元2根据颜色对信息计算将输入图像V_R的亮度转换成输入图像V_L的亮度的模型公式。这里，颜色对信息包括除了特征点之外的其它像素的亮度信息。颜色校准单元2将IIR滤波器应用于模型公式，因此可以计算健壮模型公式，尤其时间健壮模型公式。于是，颜色校准单元2可以更高健壮性地校正颜色信息。

描述在JP-A-2009-122842中的技术存在精度低的问题，因为颜色转换参数用简单的增益或多项式表达。例如，颜色转换参数未完全表达γ值的变化。相反，由于按照本实施例的模型公式至少包括增益和γ值作为参数，所以颜色校准单元2可以高精度地进行颜色校准，也就是说，可以校正颜色信息。特别地，因为表达式(7)此外包括偏移项，所以可能以更高可靠性校正颜色信息。

颜色校准单元2将输入图像V_L和V_R分别划分成多个像素块B_L-1和B_R-1，并降低了像素块B_L-1和B_R-1的灰度级。颜色校准单元2为每个像素块B_L-1和B_R-1创建颜色直方图CH_L和CH_R，并根据颜色直方图CH_L和CH_R创建颜色对信息。于是，由于颜色校准单元2根据灰度级较低的像素块B_L-1和B_R-1创建颜色对信息，所以可以处理负担轻地进行颜色校准(校正颜色信息)。由于颜色校准单元2将颜色直方图CH_L和CH_R相互匹配，并根据匹配结果计算颜色对信息，所以可以更高精度地计算颜色对信息。尤其，由于颜色校准单元2通过使用DP匹配将颜色直方图CH_L和CH_R相互匹配，所以可以更高精度地进行匹配。

描述在JP-T-2007-535829中的技术存在直方图的数据量增加和处理负担随着图像分辨率提高而加重的问题，因为创建了代表整个图像的颜色分布的直方图。相反，由于颜色校准单元2降低了像素块B_L-1和B_R-1的灰度级，所以可以与输入图像V_L和V_R的分辨率无关，处理负担轻地进行颜色校准(以便校正颜色信息)。

颜色校准单元2通过为每个像素块B_L-1创建颜色对信息，可以包容由像素块B_L-1和B_R-1的灰度级降低引起的精度降低。

由于颜色校准单元2将通过线性运算计算的参数，即，颜色校正系数w_i和w_a作为初始值进行非线性运算，所以可以更高精度地计算参数，即，模型公式。

由于颜色校准单元2计算通过线性运算计算的参数的可靠性和通过非线性运算计算的参数的可靠性，并根据可靠性较高的参数进行颜色校准，所以可以高精度地校正颜色信息。

<2-2.几何校准单元的配置>

下面参考附图描述几何校准单元3的配置。如图16所示，几何校准单元3包括特征量匹配单元301、对应点细化单元302、线性几何参数拟合单元303、非线性几何参数拟合单元304、参数选择单元305、和几何校准执行单元306。

[特征量匹配单元的配置]

特征量匹配单元301通过将颜色校准图像V_L-1和V_R-1相互匹配计算特征量矢量。具体地说，特征量匹配单元301将颜色校准图像V_L-1和V_R-1分别划分成64个像素块B_L-2和B_R-2。这里，各自像素块B_L-2和B_R-2具有长方形形状并具有相同尺寸。特征量匹配单元301提取作为各自像素块B_L-2和B_R-2的中心的像素，并将所提取像素的坐标分别设置成像素块B_L-2和B_R-2的坐标。于是，像素块B_L-2和像素块B_R-2以一对一方式相互对应。特征量匹配单元301为每个像素块B_L-2和B_R-2提取亮度等于或高于预定值(例如，32到1024)的特征点。在下文中，将颜色校准图像V_L-1的特征点也称为“左特征点”，将颜色校准图像V_R-1的特征点也称为“右特征点”。然后，特征量匹配单元301对左特征点进行如下处理。也就是说，特征量匹配单元301从处在左特征点周围的右特征点(即，其中x坐标之差的绝对值在64到256的范围内，y坐标之差的绝对值在8到64的范围内)当中提取具有最相似亮度(即，最小亮度差绝对值)的特征点。并且将提取的特征点和左特征点设置成特征点对。

特征量匹配单元301根据特征点对计算特征量矢量VE₁。这里，特征量矢量VE₁的起点是左特征点的坐标(u_L，v_L)，它的分量是(u_R-u_L，v_R-v_L)。u_R是右特征点的x坐标，v_R是右特征点的y坐标。图17示出了特征量矢量E₁和像素块B_L-2的例子。这里，像素块B_L-2是将颜色校准图像V_L-1划分成四个块获得的。

如图17所示，在描绘对象的部分中存在具有相同分量的多个特征量矢量VE₁。特征量匹配单元301创建有关像素块B_L-2和B_R-2的特征量矢量信息，并将创建的特征量矢量信息输出到对应点细化单元302和非线性几何参数拟合单元304。在这个实施例中，由于在颜色校准之后进行几何校准，所以特征量匹配单元301可以高精度地匹配亮度。于是，提高了几何校准的精度。几何校准可以在颜色校准之前进行。在这种情况下，在颜色校准中，可以高精度地匹配亮度，因此提高了颜色校准的精度。

[对应点细化单元的配置]

如图18所示，对应点细化单元302包括直方图创建单元307、滤波单元308、最大频率检测单元309、坐标分配单元310、和对应点选择单元311。

直方图创建单元307根据特征量矢量信息为每个像素块B_L-1创建代表特征量矢量VE₁的每个分量的频率的矢量分量直方图。图19示出了矢量分量直方图的例子。x轴和y轴分别代表特征量矢量VE₁的x分量和y分量，z轴代表每个分量的频率。当在像素块B_L-2中描绘一个对象时，在描绘该对象的部分中存在具有相同分量的多个特征量矢量VE₁。于是，在这种情况下，矢量分量直方图有一个大峰。直方图创建单元307创建有关矢量分量直方图的矢量分量直方图信息，并将创建的矢量分量直方图信息输出到滤波单元308。

滤波单元308通过多次将高斯(Gaussian)滤波器应用于矢量分量直方图信息平滑矢量分量直方图。滤波单元308创建有关平滑矢量分量直方图的平滑直方图信息，并将创建的平滑直方图信息输出到最大频率检测单元309和对应点选择单元311。

最大频率检测单元309根据平滑直方图信息从矢量分量直方图中指定具有最大频率的x分量和y分量。最大频率检测单元309将具有该x分量和y分量的特征量矢量VE₁设置成特征量矢量VE₁所属的像素块B_L-2的代表性矢量VE₂。于是，最大频率检测单元390为每个像素块B_L-2计算代表性矢量VE₂。最大频率检测单元309创建有关代表性矢量VE₂的分量的代表性矢量分量信息，并将创建的代表性矢量分量信息输出到坐标分配单元310。

坐标分配单元310根据代表性矢量分量信息确定代表性矢量VE₂的坐标(起点的坐标)。也就是说，从矢量分量直方图中计算代表性矢量VE₂，但矢量分量直方图不包括各自特征量矢量VE₁的坐标信息。于是，当最大频率检测单元309计算代表性矢量VE₂时，代表性矢量VE₂不包括坐标信息。因此，坐标分配单元310根据代表性矢量分量信息确定各自代表性矢量VE₂的坐标(起点的坐标)。具体地说，如图20所示，坐标分配单元310将像素块B_L-2的中心点P_L-111作为代表性矢量VE₂的坐标的初始值重复进行平均移动处理。这里，平均移动处理是计算代表性矢量VE₂的坐标和具有与代表性矢量VE₂相同的分量的特征量矢量VE₁的坐标的平均值，并将该平均值设置成代表性矢量VE₂的新坐标的过程。于是，通过重复平均移动处理，使代表性矢量VE₂的坐标移动到具有与代表性矢量VE₂相同的分量的特征量矢量VE₁集中的区域，即，集中区域。坐标分配单元310重复进行平均移动处理(例如，10次)，直到代表性矢量VE₂的坐标收敛。其结果是，坐标分配单元310确定代表性矢量VE₂的坐标。此时，代表性矢量VE₂的坐标是集中区域的中心点P_L-121。坐标分配单元310创建有关代表性矢量VE₂的分量和坐标的代表性矢量信息，将将创建的代表性矢量信息输出到对应点选择单元311。

对应点选择单元311根据代表性矢量信息和平滑直方图信息从多个代表性矢量VE₂中删除最大频率小于预定值(例如，0.1到0.4)的代表性矢量(即，切掉峰竞争者)。于是，对应点选择单元311可以排除可靠性低的代表性矢量VE₂，例如，从未描绘对象的像素块B_L-2中计算的代表性矢量VE₂。对应点选择单元311创建有关构成所选代表性矢量VE₂的特征点对，即，代表性点对的对应点选择信息，并将创建的对应点选择信息输出到线性几何参数拟合单元303。在下文中，在代表性点对的坐标点当中，将左坐标点也称为左代表性点，将右坐标点也称为右代表性点。左代表性点的坐标是代表性矢量的起点(u_L，v_L)，右代表性点的坐标是将起点的坐标与代表性矢量的分量相加获得的(u_R，v_R)。

这样，从特征量矢量VE₁中提取代表性矢量VE₂的原因是线性运算对外围来说太脆弱。也就是说，如后所述，线性几何参数拟合单元303通过使用代表性矢量VE₂进行线性运算计算变换矩阵F。变换矩阵F用于变换颜色校准图像V_L-1和V_R-1的坐标。另一方面，特征量矢量VE₁简单地连接特征点，因此其值(分量)易变成锯齿状(即，凹凸不平)。于是，当进行使用特征量矢量VE₁的线性运算时，通过线性运算获得的变换矩阵F的分量易变成锯齿状。因此，在这个实施例中，从特征量矢量VE₁中提取代表性矢量VE₂。

[线性几何参数拟合单元的配置]

线性几何参数拟合单元303(变换矩阵计算单元)包括初始化单元312、权重计算单元313、和线性几何参数计算单元314。

下面将示意性地描述线性几何参数拟合单元303进行的处理。线性几何参数拟合单元303计算满足核心限制条件和时间轴限制条件的变换矩阵F，并通过分解变换矩阵F计算单应矩阵H_L和H_R。

这里，变换矩阵F是3×3矩阵，包括单应矩阵H_L和H_R。单应矩阵H_L是变换颜色校准图像V_L-1的坐标的矩阵，单应矩阵H_R是变换颜色校准图像V_R-1的坐标的矩阵。

核心限制条件是左坐标点接近(优选的是乘以)利用变换矩阵F变换右坐标点获得的核线的限制，换句话说，将矢量u′(u_R，v_R，1)乘以变换矩阵F获得的核矢量与矢量u(u_L，v_L，1)的内积是零的限制。这里，(u_L，v_L)代表左坐标点的坐标，(u_R，v_R)代表右坐标点的坐标。

核心限制条件通过表达式(19)来表达。

u \cdot F \cdot u^{'} = (\begin{matrix} u_{L} & v_{L} & 1 \end{matrix}) \cdot \begin{matrix} (\begin{matrix} f_{0} & f_{1} & f_{2} \\ f_{3} & f_{4} & f_{5} \\ f_{6} & f_{7} & f_{8} \end{matrix}) \end{matrix} \cdot (\begin{matrix} u_{R} \\ v_{R} \\ 1 \end{matrix}) = 0 . . . (19)

这里，f₀到f₈代表变换矩阵F的分量。线性几何参数拟合单元303通过分解表达式(19)将核心限制条件改变成由表达式(20)表达的最小二乘问题。

min imize(M·F)²...(20)

这里，M代表运算矩阵，用表达式(21)表达。

M = (\begin{matrix} u_{L} u_{R} & v_{L} u_{R} & u_{R} & u_{L} v_{R} & v_{L} v_{R} & v_{R} & u_{R} & v_{R} & 1 \\ . . . \\ u_{L} u_{R} & v_{L} u_{R} & u_{R} & u_{L} v_{R} & v_{L} v_{R} & v_{R} & u_{R} & v_{R} & 1 \end{matrix}) . . . (21)

将不同代表性点对的坐标代入运算矩阵M每个列的(u_L，v_L)和(u_R，v_R)中。

另一方面，时间轴限制条件是使当前帧的变换矩阵F_n局限于前帧的变换矩阵F_n-1的限制，也就是说，使当前帧的变换矩阵F_n与前帧的变换矩阵F_n-1之间的关联度最大的限制。由于变换矩阵F是单位矢量，所以这样的内积用作没有任何变换的关联。

由于未使用时间轴限制条件计算的变换矩阵F往往沿着时间轴方向变动(数值随起点而变)，所以在这个实施例中通过使用时间轴限制条件计算变换矩阵F减小变换矩阵F沿着时间轴方向的变动。于是，提高了变换矩阵F的精度。时间轴限制条件通过表达式(22)来表达。

F_n-1·F_n＝1...(22)

时间轴限制条件的表达式(22)可以被表达式(23)表达的最大二乘问题取代。

max imize(F_n-1·F_n)²...(23)

因此，线性几何参数拟合单元303求解表达式(20)表达的最小二乘问题和表达式(23)表达的最大二乘问题，但不能通过使用线性运算求解这个混合问题。

另一方面，如果变换矩阵F_n与变换矩阵F_n-1的内积是1，则与变换矩阵F_n与变换矩阵F_n-1的正交矢量组F′_n-1的内积是0同一个意思。于是，表达式(23)表达的最大二乘问题被表达式(24)表达的最小二乘问题取代。

min imize(F′_n-1·F_n)²...(24)

因此，核心限制条件和时间轴限制条件最终变成表达式(25)表达的最小二乘问题。

\min imize {(\begin{matrix} M \\ {F^{'}}_{n - 1} \end{matrix} {\cdot F}_{n})}^{2} . . . (25)

但是，由于变换矩阵F_n-1含有随机数，所以不容易直接计算变换矩阵F_n-1的正交矢量组F′_n-1。

另一方面，使用单应矩阵HL和HR将变换矩阵F表达如下。

F＝HL·F₀·HR...(26)

这里，矩阵F₀是只包括固定值的矢量，通过表达式(27)来表达。

F_{0} = (\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & - 1 \\ 0 & 1 & 0 \end{matrix}) . . . (27)

通过将表达式(19)中的单应矩阵HL和HR乘以代表性点对的三维坐标(u_L，v_L，1)和(u_R，v_R，1)，将表达式(19)变换成如下。

(\begin{matrix} {u^{'}}_{L} & {v^{'}}_{L} & 1 \end{matrix}) \cdot {F^{'}}_{n} \cdot (\begin{matrix} {u^{'}}_{R} \\ {v^{'}}_{R} \\ 1 \end{matrix}) = 0 . . . (28)

这里，(u′_L，v′_L，1)和(u′_R，v′_R，1)是将代表性点对的三维坐标(u_L，v_L，1)和(u_R，v_R，1)乘以单应矩阵HL和HR(即，利用单应矩阵HL和HR变换坐标)获得的坐标(变换矢量)。可以使用表达式(28)将表达式(25)重写成如下。

\min imize {(\begin{matrix} M^{'} \\ {F^{'}}_{0} \end{matrix} \cdot {F^{'}}_{n})}^{2} . . . (29)

这里，M′是将运算矩阵M的分量改变成坐标变换之后的数值获得的矩阵，通过表达式(30)具体表达出来。

M^{'} = (\begin{matrix} {u^{'}}_{L} {u^{'}}_{R} & {v^{'}}_{L} {u^{'}}_{R} & {u^{'}}_{R} & {u^{'}}_{L} {v^{'}}_{R} & {v^{'}}_{L} {v^{'}}_{R} & {v^{'}}_{R} & {u^{'}}_{R} & {v^{'}}_{R} & 1 \\ . . . \\ {u^{'}}_{L} {u^{'}}_{R} & {v^{'}}_{L} {u^{'}}_{R} & {u^{'}}_{R} & {u^{'}}_{L} {v^{'}}_{R} & {v^{'}}_{L} {v^{'}}_{R} & {v^{'}}_{R} & {u^{'}}_{R} & {v^{'}}_{R} & 1 \end{matrix}) . . . (30)

矩阵F′₀是矩阵F₀的正交矢量组。由于矩阵F₀是含有九个分量的矩阵，所以存在矩阵F₀的八个正交矢量。由于矩阵F₀具有固定值，所以正交矢量组也具有固定值。因此，线性几何参数拟合单元303不必计算矩阵F′₀。具体地说，线性几何参数拟合单元303事先存储了F′₀。

线性几何参数拟合单元303不使用没有任何变化的时间轴限制条件，而是使用将时间轴限制条件乘以权重w_e获得的结果。可以使用权重w_e将表达式(29)重写成如下。

\min imize {(\begin{matrix} M^{'} \\ w_{e} \cdot {F^{'}}_{0} \end{matrix} \cdot {F^{'}}_{n})}^{2} . . . (31)

于是，通过求解表达式(31)的最小二乘问题，线性几何参数拟合单元303计算出矩阵F′_n(固定值对应矢量)，并且还计算出变换矩阵F。线性几何参数拟合单元303通过使用变换矩阵F计算单应矩阵HL和HR。通过使用单应矩阵HL变换颜色校准图像V_L-1的左坐标点和通过使用单应矩阵HR变换颜色校准图像V_R-1的右坐标点减小了几何差异。在这个实施例中，以这种方式计算满足核心限制条件和时间轴限制条件的变换矩阵F，但也可以加入另一个限制条件，例如，输入图像V_L和V_R相互平行的限制作为限制条件。下面将详细描述线性几何参数拟合单元303的配置。

[初始化单元的配置]

如图22所示，初始化单元312包括误差计算单元315、初始参数选择单元316、坐标对存储单元317、和坐标对整合单元318。

误差计算单元315根据对应点选择信息和后面所述的参数选择单元305供应的参数信息计算误差。这里，参数信息包括有关在前帧中计算的单应矩阵HL_n-1和HR_n-1的信息。

具体地说，误差计算单元315使用表达式(32)和(33)计算误差值e1和e2。

e1＝∑u·HL_n-1·F₀·HR_n-1·u′...(32)

e2＝∑u·I·F₀·I·u′...(33)

这里，u和u′代表代表性点对的三维坐标，即，(u_L，v_L，1)和(u_R，v_R，1)，和I代表单位矩阵。∑代表对所有代表性点对的数值求和。

表达式(32)和(33)对应于变换矩阵F的单应矩阵HR和HR被前帧的单应矩阵HRn_-1和HR_n-1或单位矩阵I取代的核心限制条件的表达式(19)。

因此，随着误差值e1和e2越来越小，作为单应矩阵HR和HR的单应矩阵HRn_-1和HR_n-1和单位矩阵I的精度越来越高。

一般说来，当同一场景继续下去时，误差值e1小于误差值e2。当场景发生变化时，误差值e2小于误差值e1。

误差计算单元315创建有关所计算误差值e1和e2的误差值信息，并将创建的误差值信息与对应点选择信息一起输出到初始参数选择单元316。误差计算单元315选择误差值的较小者，并创建有关所选误差值的最小误差值信息。误差计算单元315将最小误差值信息和对应点选择信息输出到权重计算单元313。

初始参数选择单元316根据误差值信息确定将前帧的单应矩阵HRn_-1和HR_n-1和单位矩阵I的哪一个用作初始参数。具体地说，初始参数选择单元316将具有较小误差值的矩阵设置成初始参数的单应矩阵。

初始参数选择单元316创建有关所得初始参数的初始参数信息，并将创建的初始参数信息输出到线性几何参数计算单元314。初始参数选择单元316将对应点选择信息输出到坐标对存储单元317和坐标对整合单元318。当单位矩阵被选为初始参数时，初始参数选择单元316将复位信息输出到坐标对存储单元317。

坐标对存储单元317存储初始参数选择单元316供应的对应点选择信息，并且将所存储对应点选择信息当中与前四个帧相对应的对应点选择信息输出到坐标对整合单元318。当从初始参数选择单元316供应复位信息时，坐标对整合单元317删除对应点选择信息。当从初始参数选择单元316供应复位信息时，很有可能场景发生了变化，因此，优选的是不应该使用前帧的对应点选择信息。

坐标对整合单元318整合初始参数选择单元316和坐标对存储单元317供应的对应点选择信息。于是，坐标对整合单元318最多整合与五个帧相对应的对应点选择信息。坐标对整合单元318将整合的对应点选择信息输出到权重计算单元313和线性几何参数计算单元314。

[权重计算单元的配置]

权重计算单元313根据误差计算单元315供应的最小误差值信息和对应点选择信息计算指示在计算变换矩阵F时，多大程度考虑了时间轴限制条件的权重，即，时间轴限制条件的权重。

具体地说，权重计算单元313在误差值(帧中的初始值误差)、代表性矢量VE₂的数量(样本的数量)、和代表性矢量VE₂的方差在0.0到3.0的范围(第一范围)内时，将第一权重w_e1确定为时间轴限制条件的权重w_e，在误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差在3.0到16.0的范围(第二范围)内时，将第二权重w_e2确定为权重w_e，并且在误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差大于等于16.0的范围(第三范围)内时，将第三权重w_e3确定为权重w_e。权重的幅度满足w_e1＞w_e2＞w_e3。第一权重w_e1的值，例如，在10.0到1.0的范围内，第二权重w_e2的值，例如，在1.0到0.1的范围内，以及第三权重w_e3的值，例如，在0.1到0.01的范围内。

这样确定的原因参考图23来描述。图23是例示误差值、代表性矢量VE₂的数量、代表性矢量VE₂的方差、时间轴限制条件的权重、和所计算变换矩阵F的精度之间的对应关系的图形。也就是说，图中的点代表误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差之间的对应关系。这些点在权重较大(例如，1)变换矩阵F的精度较高时用点P_w1表示，而在权重较小(例如，0.01)变换矩阵F的精度较高时用点P_w2表示。

在图23中，适当计算变换矩阵F的权重随误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差而变。点P_w1分布在区域AR1和AR2中，而点P_w2分布在区域AR3中。点P_w1也分布在远离区域AR1和AR2的区域AR4中，这是由透镜变形(河豚)引起的。

区域AR1和AR2代表上述第一范围，区域AR3代表上述第二范围。因此，当误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差属于区域AR1或AR2，即，第一范围时，权重计算单元313将最大的第一权重w_e1确定为时间轴限制条件的权重w_e。当误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差属于区域AR3，即，第二范围时，权重计算单元313将最小的第二权重w_e2确定为时间轴限制条件的权重w_e。例如，包括在区域AR1中的点指示通过使用小误差值，即，前帧的单应矩阵HL_n-1和HR_n-1可以高精度地将当前帧的代表性点几何关联。因此，当误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差属于区域AR1时，可以认为当前帧的变换矩阵F_n接近前帧的变换矩阵F_n-1(也就是说，变换矩阵F收敛)。另一方面，包括在区域AR3中的点指示即使通过使用大误差值，即，前帧的单应矩阵HL_n-1和HR_n-1将当前帧的代表性点几何关联，精度也是差的。因此，当误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差属于区域AR3时，可以认为当前帧的变换矩阵F_n未接近前帧的变换矩阵F_n-1(也就是说，变换矩阵F不收敛)。

另一方面，当误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差属于区域AR4时，存在透镜变形，因此认为优选的是将时间轴限制条件的权重w_e设置成不同于第一权重w_e1和第二权重w_e2。因此，当误差值、代表性矢量VE₂的数量、和代表性矢量VE₂的方差属于区域AR4，即，第三范围时，权重计算单元313将第一权重w_e1与第二权重w_e2之间的第三权重w_e3确定为时间轴限制条件的权重w_e。

权重计算单元313创建有关时间轴限制条件的所确定权重w_e的时间轴限制权重信息，并将创建的时间轴限制权重信息输出到线性几何参数计算单元314。

[线性几何参数计算单元的配置]

如图24所示，线性几何参数计算单元314包括坐标变换单元319、矩阵计算单元320、F矩阵计算单元321、和F矩阵分解单元322。

坐标变换单元319根据初始化单元315供应的信息变换代表性点对的坐标。具体地说，坐标变换单元319通过使用初始化参数，即，前帧的单应矩阵HL_n-1或单位矩阵I变换左代表性点，以及通过使用初始化参数，即，前帧的单应矩阵HR_n-1或单位矩阵I变换右代表性点。单位矩阵I实际上无坐标变换。

颜色校准图像V_L-1和V_R-1的中心点和坐标范围可以通过这种坐标变换来改变。于是，坐标变换单元319在坐标变换之后归一化代表性点对的坐标和初始参数。具体地说，例如，为了归一化，坐标变换单元319将代表性点对的坐标和初始参数乘以变换矩阵。在下文中，将归一化三维坐标也称为归一化坐标，将归一化初始参数也称为归一化单应矩阵WL和WR。

坐标变换单元319创建有关代表性点对的归一化坐标和归一化单应矩阵WL和WR的坐标变换信息，并将创建的坐标变换信息输出到矩阵计算单元320。

矩阵计算单元320根据坐标变换信息计算由表达式(34)表达的运算矩阵M₂。

M_{2} = Σ \begin{matrix} \begin{matrix} {(\begin{matrix} {u^{'}}_{L} {u^{'}}_{R} & {v^{'}}_{L} {u^{'}}_{R} & {u^{'}}_{R} & {u^{'}}_{L} {v^{'}}_{R} & {v^{'}}_{L} {v^{'}}_{R} & {v^{'}}_{R} & {u^{'}}_{L} & {v^{'}}_{L} & 1 \end{matrix})}^{T} \\ \cdot (\begin{matrix} {u^{'}}_{L} {u^{'}}_{R} & {v^{'}}_{L} {u^{'}}_{R} & {u^{'}}_{R} & {u^{'}}_{L} {v^{'}}_{R} & {v^{'}}_{L} {v^{'}}_{R} & {v^{'}}_{R} & {u^{'}}_{L} & {v^{'}}_{L} & 1 \end{matrix}) \end{matrix} \end{matrix}

+ w_{c} \cdot C^{T} \cdot C . . . (34)

这里，∑指的是对所有代表性点对的求和，和矩阵C通过合成上述正交矩阵组F′₀获得，它通过表达式(35)来表达。

C = (\begin{matrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & \sqrt{2} & 0 & - \sqrt{2} & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) . . . (35)

矩阵计算单元320创建有关所计算运算矩阵M₂的运算矩阵信息，并将创建的运算矩阵信息输出到F矩阵计算单元321。

F矩阵计算单元321计算运算矩阵M₂的最小本征矢v_min。计算本征矢v_min的方法没有特别限制，但优选的是使用，例如，奇异值分解。

F矩阵计算单元321将最小本征矢v_min奇异分解成3×3矩阵，以便使最小本征矢v_min的最小奇异值归于0。F矩阵计算单元321根据所计算矩阵SVD(V_min)和表达式(36)计算变换矩阵F。

F＝WL·SVD(v_min)·WR...(36)

F矩阵计算单元321通过从权重w_e的值中派生出像2²×w_e，2×w_e，2^-1×w_e，2^-2×w_e那样的几个值来计算变换矩阵F。F矩阵计算单元321使用表达式(32)来计算所计算变换矩阵F的误差值。F矩阵计算单元321选择最小误差值，创建有关所选变换矩阵F的变换矩阵信息，并将创建的变换矩阵信息与坐标变换信息一起输出到F矩阵分解单元322。

F矩阵分解单元322根据变换矩阵信息将变换矩阵F分解成单应矩阵HL和HR。事实上，F矩阵分解单元322计算使核线平行的矩阵作为单应矩阵HL和HR。

具体地说，F矩阵分解单元322通过进行核心计算来计算核点的坐标。核点是核线的交点。当假设入射在成像设备上的光束会聚在一点上时，将光束投影在颜色校准图像V_L-1和V_R-1上获得的直线，即，核线彼此相交在核点上。核点处在任何核线中，因此与任何核线的内积都是0。

因此，F矩阵分解单元322计算核线与核点的坐标的内积的平方最小的核点的坐标。具体地说，F矩阵分解单元322计算变换矩阵F的平方。然后，F矩阵分解单元322将所计算矩阵的最小本征矢设置成核点的坐标。由于核点存在于颜色校准图像V_L-1和V_R-1的每一个中，所以计算核点的坐标。也就是说，在颜色校准图像V_L-1中，F矩阵分解单元322计算由表达式(37)表达的矩阵FL的最大本征矢eL，并将计算的最小本征矢设置成核点，即，左核点的坐标。

FL＝F·t·F...(37)

这里，t代表转置。

类似地，在颜色校准图像V_R-1中，F矩阵分解单元322计算由表达式(38)表达的矩阵FR的最大本征矢eR，并将计算的最小本征矢设置成核点，即，右核点的坐标。

FR＝t·F·F...(38)

F矩阵分解单元322计算将左核点移动到无限远(即，使颜色校准图像V_L-1中的核线相互平行)的矩阵作为单应矩阵HL，计算将右核点移动到无限远(即，使颜色校准图像V_R-1中的核线相互平行)的矩阵作为单应矩阵HR。

具体地说，F矩阵分解单元322使用表达式(39)和(40)计算单应矩阵HL和HR的投影分量矩阵Hp。

Hp = (\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ a & 0 & 1 \end{matrix}) . . . (39)

a＝-e(2)/e(0)...(40)

这里，e(2)代表核心x坐标，e(0)代表核心z坐标。

F矩阵分解单元322使用calc Rotation Of Rectify of Rectification.cpp计算单应矩阵HL和HR的旋转分量矩阵Hr，使用calc Shearing Of Rectify ofRectification.cpp计算单应矩阵HL和HR的失真(平移)分量矩阵Hsh。F矩阵分解单元322根据表达式(41)和(42)计算单应矩阵HL和HR的垂直缩放分量矩阵Hs。

Hs = (\begin{matrix} 1 & 0 & 0 \\ 0 & s & 0 \\ 0 & 0 & 1 \end{matrix}) . . . (41)

s＝Vertical_Torerance/(Ave_Error+σ)...(42)

这里，“Vertical_Torerance”代表水平平移运动的数量，“Average_Error”代表运动的平均差值，和σ代表标准偏差。

F矩阵分解单元322通过叉积单应矩阵HL的投影分量矩阵Hp、旋转分量矩阵Hr、失真分量矩阵Hsh、和垂直缩放分量矩阵Hs计算单应矩阵HL。

类似地，F矩阵分解单元322通过叉积单应矩阵HR的投影分量矩阵Hp、旋转分量矩阵Hr、失真分量矩阵Hsh、和垂直缩放分量矩阵Hs计算单应矩阵HR。

F矩阵分解单元322创建有关所计算单应矩阵HL和HR的线性校正系数信息，并将创建的线性校正系数信息输出到非线性几何参数拟合单元304和参数选择单元305。

[非线性几何参数拟合单元的配置]

如图25所示，非线性几何参数拟合单元304包括雅可比矩阵计算单元323、海赛矩阵计算单元324、和系数更新单元325。

雅可比矩阵计算单元323根据特征量匹配单元301供应的特征量矢量信息和线性几何参数拟合单元303供应的线性校正系数信息计算表达式(43)表达的雅可比矩阵J₂。

J_{2} = f_{e 2} (u, u^{'}, coef (F)) \cdot d_{coef} f_{e 2} (u, u^{'}, coef (F))

= f_{e 2} (u, u^{'}, coef (F)) \cdot (\begin{matrix} {&PartialD; f}_{e 20} / {&PartialD; f}_{0} & {&PartialD; f}_{e 20} / {&PartialD; f}_{1} & . . . & {&PartialD; f}_{e 20} / {&PartialD; f}_{8} \\ . . . & . . . & . . . & . . . \\ {&PartialD; f}_{e 2 m} / {&PartialD; f}_{0} & {&PartialD; f}_{e 2 m} / {&PartialD; f}_{1} & . . . & {&PartialD; f}_{e 2 m} / {&PartialD; f}_{8} \end{matrix}) . . . (43)

这里，u是代表左特征点的三维坐标的矢量，u′是代表右特征点的三维坐标的矢量，和coef(F)代表变换矩阵F的分量。f_e2(u，u′，coef(F))是所谓的误差函数，通过表达式(44)表达。f_e20到f_e2m是将不同特征量矢量信息代入误差函数f_e2(u，u′，coef(F))中获得的。

f_e2(u，u′，coef(F))＝RobustFunc(g₂(u，coef(F))-g₂(u′，coef(F)))...(44)

这里，g₂(u，coef(F))是将左特征点的三维坐标乘以变换矩阵F获得的值，g₂(u′，coef(F))是将右特征点的三维坐标乘以变换矩阵F获得的值。

RobustFunc代表表达式(16)表达的函数。

雅可比矩阵计算单元323创建有关所计算雅可比矩阵J₂的雅可比矩阵信息，并将创建的雅可比矩阵信息输出到海赛矩阵计算单元324。

当从后面所述的系数更新单元325供应非线性校正系数信息时，雅可比矩阵计算单元323根据非线性校正系数信息所指的非线性校正系数coef(nonlinear)和特征量矢量信息计算雅可比矩阵J₂。雅可比矩阵计算单元323创建有关所计算雅可比矩阵J₂的雅可比矩阵信息，并将创建的雅可比矩阵信息输出到海赛矩阵计算单元324。

海赛矩阵计算单元324根据雅可比矩阵计算单元323供应的信息计算表达式(45)表达的海赛矩阵H₂。

H₂＝dcoef f_e2(u，u′，coef(F))·dcoef f_e2(u，u′，coef(F))...(45)

然后，海赛矩阵计算单元324创建有关所计算海赛矩阵H₂的海赛矩阵信息，并将创建的海赛矩阵信息与雅可比矩阵计算单元323供应的信息一起输出到系数更新单元325。

系数更新单元325根据海赛矩阵计算单元324供应的信息和表达式(46)计算变换矩阵F的分量作为非线性校正系数coef(nonlinear)。

coef(nonlinear)＝(H₂+w_f·I)^-1·J₂+coef(F)...(46)

这里，I代表单位矩阵，w_f代表，例如，0.1的系数(权重)。

系数更新单元325通过使用与F矩阵分解单元322所进行相同的处理解码非线性校正系数coef(nonlinear)计算单应矩阵HL和HR。系数更新单元325创建有关所计算单应矩阵HL和HR的非线性校正系数信息。系数更新单元325确定单应矩阵HL和HR是否收敛在常数值上，当确定单应矩阵HL和HR收敛在常数值上时，将非线性校正系数信息输出到参数选择单元306，而当确定单应矩阵HL和HR不收敛时，将非线性校正系数信息输出到雅可比矩阵计算单元323。此后，再次计算单应矩阵HL和HR。于是，非线性颜色参数拟合单元304通过使用非线性运算方法，将线性几何参数拟合单元303计算的单应矩阵HL和HR作为初始值计算单应矩阵HL和HR，重复进行非线性运算，直到单应矩阵HL和HR收敛在常数值上。

[参数选择单元的配置]

显示在图16中的参数选择单元305将表达式(32)用于像素块B_L-2和B_R-2的每个组计算线性几何参数拟合单元303供应的线性校正系数信息和非线性几何参数拟合单元304供应的非线性校正系数信息的误差值。参数选择单元305选择具有较小误差值的信息作为参考信息。参数选择单元305为像素块B_L-2和B_R-2的每个组选择参数信息，并将参考信息输出到几何校准执行单元306和线性几何参数拟合单元303。

[几何校准执行单元的配置]

几何校准执行单元306根据参数信息对颜色校准图像V_L-1和V_R-1进行几何校准。具体地说，几何校准执行单元306通过使用单应矩阵HL变换颜色校准图像V_L-1的坐标点的坐标，通过使用单应矩阵HR变换颜色校准图像V_R-1的坐标点的坐标。几何校准执行单元306将几何校准图像作为颜色校准图像V_L-2和V_R-2输出到显示在图5中的视差检测单元4。

图26A和26B示出了使用时间轴限制条件减小变换矩阵F的锯齿的状况。显示在图26A中的曲线L3代表未使用时间轴限制条件计算的变换矩阵F的分量的变化，显示在图26B中的曲线L4代表使用时间轴限制条件计算的变换矩阵F的分量的变化。如图26A和26B所示，使用时间轴限制条件计算的变换矩阵F的锯齿状值极大地减小了。

图27示出了变换矩阵F随着时间的流逝而收敛的状况。曲线L5和L6代表表达式(32)的误差值随着时间的流逝而收敛的状况。曲线L5示出了使用与一个帧相对应的对应点选择信息计算变换矩阵F的情况，曲线L6示出了使用与五个帧相对应的对应点选择信息计算变换矩阵F的情况。曲线L7代表表达式(33)的误差值。如图27所示，变换矩阵F随着时间的流逝极大地收敛。可以认为使用与五个帧相对应的对应点选择信息计算的变换矩阵F比使用与一个帧相对应的对应点选择信息计算的变换矩阵F更大地收敛，其误差值更稳定。

[由几何校准单元引起的优点]

下面描述由几何校准单元3引起的优点。

由于几何校准单元3计算变换矩阵F，并根据变换矩阵F进行几何校准(几何校正)，所以可以不用现有模式(现有模型)地进行几何校准。变换矩阵F满足核心限制条件，因此可以应用于比现有模式更多种的图像。由于几何校准单元3使用表达式(19)求解核心限制条件，所以可以高精度地计算变换矩阵F。

由于几何校准单元3计算除了核心限制条件之外还满足时间轴限制条件的变换矩阵F，所以可以计算具有高精度和在时间轴方向健壮(具有高时间健壮性)的变换矩阵F。于是，几何校准单元3可以进行随时间健壮的几何校准。作为几何校准方法，本公开的发明人研究了像RANSAC估计和M估计(有关估计方法的细节请参照，例如，Mahamud和Hebert 2000，“Iterativeprojective reconstruction from multiple views”，以及Hartley和Zisserman 2000，“Multiple view geometry in computer vision”)那样的非线性估计方法。其结果是，在RANSAC估计中证明了变换矩阵F的参数在时间轴方向易变成锯齿状(凹凸不平)。在M估计中，已证明图像处理设备的处理负担很重。相反，在本实施例中计算的变换矩阵F在时间轴方向不易变成锯齿状，并且处理负担也较轻。

由于几何校准单元3将与在前帧中计算的变换矩阵F的关联限制在时间轴方向上，所以可以高精度地计算变换矩阵F，并且可以高精度地进行几何校准。

由于几何校准单元3将使与在前帧中计算的变换矩阵F_n-1的关联极大的最大二乘问题改变成使与在前帧中计算的变换矩阵F_n-1的正交矢量组F′_n-1的关联极小的最小二乘问题，所以可以像单个最小二乘问题那样求解核心限制条件和时间轴限制条件。

由于几何校准单元3加权时间轴限制，并取决于代表性点对(样本等的数量)的状况改变时间轴限制的权重w_e，所以可以高精度地计算变换矩阵F，并且使变换矩阵F的收敛提前。

由于几何校准单元3从时间轴限制的权重w_e中派生出一些值，使用权重w_e计算变换矩阵F，并选择具有最小误差值的变换矩阵F，所以可以高精度地计算变换矩阵F。

由于几何校准单元3将特征点对当中具有高频率的特征点对设置成代表性点对，并根据代表性点对计算变换矩阵F，所以可以高精度地计算变换矩阵F。

由于几何校准单元3通过使用平均移动处理计算代表性矢量VE₂的坐标，所以可以高精度地计算代表性矢量VE₂的坐标。

由于几何校准单元3在计算变换矩阵F之前通过使用像单应矩阵HL_n-1和HR_n-1那样的初始参数变换左代表性战和右代表性点的坐标，所以可以容易地计算变换矩阵F。具体地说，几何校准单元3可以将正交矢量组F′_n-1变换成固定值。

由于几何校准单元3将通过线性运算计算的变换矩阵F用作初始值进行非线性运算，所以可以高精度地计算变换矩阵F。

由于几何校准单元3计算通过线性运算计算的变换矩阵F和通过非线性运算计算的变换矩阵F的误差值，并使用具有较小误差值的变换矩阵F进行几何校准，所以可以高精度地进行几何校准。

[线性几何参数拟合单元的第一种变型]

下面描述线性几何参数拟合单元的第一种变型。如图28所示，线性几何参数拟合单元326包括初始化单元327、权重计算单元328、坐标变换单元329、投影分量计算单元330、旋转分量计算单元331、平移分量计算单元332、和F矩阵分解单元333。线性几何参数拟合单元326与线性几何参数拟合单元303的不同之处在于为每个分量，也就是说，为投影分量、旋转分量、和平移分量的每一个计算变换矩阵F，并且考虑其它所计算分量以便计算各自分量。

初始化单元327、权重计算单元328、和坐标变换单元329进行与初始化单元312、权重计算单元313、和坐标变换单元319相同的处理。但是，权重计算单元328将时间轴限制权重信息输出到投影分量计算单元330、旋转分量计算单元331、和平移分量计算单元332。

如图29所示，投影分量计算单元330包括矩阵计算单元334和F矩阵计算单元335。矩阵计算单元334进行与矩阵计算单元320相同的处理。但是，矩阵计算单元334计算由表达式(47)表达的运算矩阵M₃。

M₃＝∑(v′_Lu′_R u′_Lv′_R v′_Lv′_R v′_R v′_L)^T·(v′_Lu′_R u′_Lv′_R v′_Lv′_R v′_R v′_L)+w_cC₁ ^T·C₁...(47)

这里，∑指的是对所有代表性点对求和，以及矩阵C₁通过合成上述正交矢量组F′₀的一部分获得，由表达式(48)表达。

C_{1} = (\begin{matrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & \sqrt{2} & - \sqrt{2} \end{matrix}) . . . (48)

矩阵计算单元334创建有关所计算运算矩阵M₃的运算矩阵信息，并将创建的运算矩阵信息输出到F矩阵计算单元335。

F矩阵计算单元335根据运算矩阵信息进行与F矩阵计算单元321相同的处理。于是，计算由表达式(49)表达的投影分量变换矩阵F_P。

F_{P} = {(\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ Pj 1 & Pj 2 & 1 \end{matrix})}^{T} \cdot (\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & - 1 \\ 0 & 1 & 0 \end{matrix}) \cdot (\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ Pj 3 & Pj 4 & 1 \end{matrix}) = (\begin{matrix} 0 & Pj 1 & 0 \\ - Pj 3 & Pj 5 & - 1 \\ 0 & 1 & 0 \end{matrix}) . . . (49)

这里，Pj1到Pj5代表任意数值。F矩阵计算单元335创建有关投影分量变换矩阵F_P的投影分量变换矩阵信息，并将创建的投影分量变换矩阵信息与坐标变换信息一起输出到旋转分量计算单元331。

如图30所示，旋转分量计算单元331包括矩阵计算单元336和F矩阵计算单元337。矩阵计算单元336进行与矩阵计算单元320相同的处理。但是，矩阵计算单元336计算由表达式(50)表达的运算矩阵M₄。

M₄＝∑(u′_R v′_R u′_R v′_L)^T·(u′_R v′_R u′_R v′_L)+w_e(C₂ ^T·C₂+F_V ^T·F_P)...(50)

这里，∑指的是对所有代表性点对求和，以及矩阵C₂通过合成上述正交矢量组F′₀获得，由表达式(51)表达。

C_{2} = (\begin{matrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & \sqrt{2} & - \sqrt{2} \end{matrix}) . . . (51)

矩阵计算单元336创建有关所计算运算矩阵M₄的运算矩阵信息，并将创建的运算矩阵信息输出到F矩阵计算单元337。如表达式(50)所示，运算矩阵M₄包括投影分量变换矩阵F_P。也就是说，运算矩阵M₄考虑到了投影分量变换矩阵F_P。

F矩阵计算单元337根据运算矩阵信息进行与F矩阵计算单元321相同的处理。于是，计算由表达式(52)表达的旋转分量变换矩阵F_R。这里，由于运算矩阵M₄包括投影分量变换矩阵F_P，所以F矩阵计算单元337可以计算受投影分量变换矩阵F_P限制的变换矩阵F_R。

F_{R} = {(\begin{matrix} Rot 1 & Rot 2 & 0 \\ - Rot 2 & Rot 1 & 0 \\ 0 & 0 & 1 \end{matrix})}^{T} \cdot (\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & - 1 \\ 0 & 1 & 0 \end{matrix}) \cdot (\begin{matrix} Rot 3 & Rot 4 & 0 \\ - Rot 4 & Rot 3 & 0 \\ 0 & 0 & 1 \end{matrix}) = (\begin{matrix} 0 & 0 & Rot 2 \\ 0 & 0 & - Rot 1 \\ - Rot 4 & Rot 3 & 0 \end{matrix}) . . . (52)

这里，Rot1到Rot4代表任意数值。F矩阵计算单元337创建有关旋转分量变换矩阵FR的旋转分量变换矩阵信息，并将创建的旋转分量变换矩阵信息与坐标变换信息一起输出到平移分量计算单元332。

如图31所示，平移分量计算单元332包括矩阵计算单元338和F矩阵计算单元339。矩阵计算单元338进行与矩阵计算单元320相同的处理。但是，矩阵计算单元338计算由表达式(53)表达的运算矩阵M₅。

M₅＝∑(v′_R v′_R 1)^T·(v′_R v′_R 1)+w_e(C₃ ^T·C₃+F_R ^T·F_R)...(53)

这里，∑指的是对所有代表性点对求和，以及矩阵C₃通过合成上述正交矢量组F′₀的一部分获得，由表达式(54)表达。

C_{3} = (\begin{matrix} \sqrt{2} & - \sqrt{2} & 0 \\ 0 & 0 & 1 \end{matrix}) . . . (54)

矩阵计算单元338创建有关所计算运算矩阵M₅的运算矩阵信息，并将创建的运算矩阵信息输出到F矩阵计算单元339。如表达式(53)所示，运算矩阵M₅包括旋转分量变换矩阵F_R。也就是说，运算矩阵M₅考虑到了旋转分量变换矩阵F_R。由于变换矩阵F_R受投影分量变换矩阵F_P限制，所以运算矩阵M₅基本上考虑到了投影分量变换矩阵F_P。

F矩阵计算单元339根据运算矩阵信息进行与F矩阵计算单元321相同的处理。于是，计算由表达式(55)表达的平移分量变换矩阵F_Sh。这里，由于运算矩阵M₅包括投影分量变换矩阵F_P和旋转分量变换矩阵F_R，所以F矩阵计算单元339可以计算受投影分量变换矩阵F_P和旋转分量变换矩阵F_R限制的变换矩阵F_Sh。

F_{Sh} = {(\begin{matrix} 1 & 0 & v 1 \\ 0 & 1 & v 2 \\ 0 & 0 & 1 \end{matrix})}^{T} \cdot (\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & - 1 \\ 0 & 1 & 0 \end{matrix}) \cdot (\begin{matrix} 1 & 0 & v 3 \\ 0 & 1 & v 4 \\ 0 & 0 & 1 \end{matrix}) = (\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & - 1 \\ 0 & 1 & v 4 - v 2 \end{matrix}) . . . (55)

这里，v1到v4代表任意数值。F矩阵计算单元339通过叉积投影分量、旋转分量、和平移分量的变换矩阵F_P，F_R，和F_Sh计算变换矩阵F。F矩阵计算单元339创建有关所计算变换矩阵F的变换矩阵信息，并将创建的变换矩阵信息与坐标变换信息一起输出到F矩阵分解单元332。

显示在图28中的F矩阵分解单元333进行与F矩阵分解单元326相同的处理。

由于按照这种变型的线性几何参数拟合单元326为每个分量计算变换矩阵F，所以可以高健壮性地和高精度地计算变换矩阵F。由于线性几何参数拟合单元326考虑以前计算的分量(用作限制条件)来计算分量，所以也可以高精度地计算变换矩阵F。

[线性几何参数拟合单元的第二种变型]

下面描述线性几何参数拟合单元的第二种变型。如图32所示，线性几何参数拟合单元340包括初始化单元341、坐标变换单元342、和线性几何参数更新单元343。线性几何参数拟合单元340与线性几何参数拟合单元303的不同之处在于简化了计算变换矩阵F的过程。

初始化单元341和坐标变换单元342进行初始化单元312和坐标变换单元319相同的处理。

线性几何参数更新单元343存储平移分量更新表、旋转分量更新表、和投影分量更新表。

平移分量更新表按步长0.5存储-5到+5的数值。如图33所示，旋转分量更新表和投影分量更新表具有5×5矩阵形状。旋转分量更新表和投影分量更新表的各个块存储变换颜色校准图像V_L-1和V_R-1所需的参数组合(Ta，Tb)。这里，Ta是0，S，或J，和Tb是0，s，或j。“s”和“S”代表0附近的值(刻度)，而“j”和“J”代表远离0的值(跳跃)。也就是说，“s”或“S”与“j”或“J”之间的差值大于0与“s”或“S”之间的差值。

具体地说，在旋转分量更新表中，Ta代表颜色校准图像V_L-1的转角，Tb代表颜色校准图像V_R-1的转角。也就是说，“S”代表，例如，颜色校准图像V_L-1沿着顺时针方向旋转0.01°，“J”代表，例如，颜色校准图像V_L-1沿着顺时针方向旋转0.1°。“-”指的是逆时钟方向。

类似地，“s”代表，例如，颜色校准图像V_R-1沿着顺时针方向旋转0.01°，“j”代表，例如，颜色校准图像V_R-1沿着顺时针方向旋转0.1°。“-”指的是逆时钟方向。

另一方面，在投影分量更新表中，Ta代表颜色校准图像V_L-1的投影变换的幅度，Tb代表颜色校准图像V_R-1的投影变换的幅度。也就是说，“S”代表表达式(49)中的Pj1和Pj2的组合或与之相对应的值，“J”也代表表达式(49)中的Pj1和Pj2的组合或与之相对应的值。“J”代表的Pj1和Pj2的值大于“S”代表的Pj1和Pj2的值。

类似地，“s”代表表达式(49)中的Pj3和Pj4的组合或与之相对应的值，“j”也代表表达式(49)中的Pj3和Pj4的组合或与之相对应的值。“j”代表的Pj3和Pj4的值大于“s”代表的Pj3和Pj4的值。

当打算将可以通过单应矩阵HL和HR的各个分量，即，它们的平移分量、旋转分量、和投影分量获得的所有值都存储在表格中时，超出了表格的容量。因此，在这个实施例中，像上述那样限制各个表格的容量。这些容量只是例子，这些表格可以具有不同容量。

线性几何参数更新单元343针对平移分量更新表的数值、旋转分量更新表的数值、和投影分量更新表的数值的所有组合计算表达式(56)和(57)表达的单应更新矩阵。

DL = Homography (v_{L}, r_{L}, p_{L}) = (\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & v_{L} \\ 0 & 0 & 1 \end{matrix}) \cdot (\begin{matrix} Rot 1 & Rot 2 & 0 \\ - Rot 2 & Rot 1 & 0 \\ 0 & 0 & 1 \end{matrix}) \cdot (\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ Pj 1 & Pj 2 & 1 \end{matrix}) . . . (56)

DL = Homography (v_{R}, r_{R}, p_{R}) = (\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & v_{R} \\ 0 & 0 & 1 \end{matrix}) \cdot (\begin{matrix} Rot 3 & Rot 4 & 0 \\ - Rot 4 & Rot 3 & 0 \\ 0 & 0 & 1 \end{matrix}) \cdot (\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ Pj 3 & Pj 4 & 1 \end{matrix}) . . . (57)

这里，v_L和v_R代表存储在平移分量更新表中的数值。r_L代表旋转分量更新表的Ta，r_R代表旋转分量更新表的Tb。p_L代表投影分量更新表的Ta，p_R代表投影分量更新表的Tb。

线性几何参数更新单元343根据表达式(58)和(59)更新单应矩阵HL和HR。

HL_n＝HL_n-1·DL...(58)

HR_n＝HR_n-1·DR...(59)

线性几何参数更新单元343使用表达式(32)计算所有单应矩阵HL和HR的误差值，并选择具有较小误差值的单应矩阵HL和HR。线性几何参数更新单元343创建有关所选择单应矩阵HL和HR的线性校正系数信息，并将创建的线性校正系数信息输出到非线性颜色参数拟合单元304和参数选择单元305。

图34示出了单应矩阵HL和HR收敛的状况。曲线L8代表表达式(33)中的误差值随着时间的流逝而变的状况，曲线L9代表更新单应矩阵HL和HR的平移分量时误差值随着时间的流逝而变的状况，和曲线L10代表更新单应矩阵HL和HR的平移分量和旋转分量时误差值随着时间的流逝而变的状况。如图34所示，通过更新单应矩阵HL和HR的平移分量和旋转分量可以使单应矩阵HL和HR收敛在很小值上。

图35示出了单应矩阵HL和HR收敛的状况。条状图L11代表表达式(33)中的误差值收敛的值，和条状图L12代表更新单应矩阵HL和HR的平移分量时误差值收敛的值。条状图L13代表更新单应矩阵HL和HR的平移分量和旋转分量时误差值收敛的值，和条状图L14代表更新单应矩阵HL和HR的平移分量、旋转分量和投影分量时误差值收敛的值。阈值Th1代表良好地进行后面描述的视差检测时误差值的上限。也就是说，为了良好地进行后面描述的视差检测，有必要将误差值设置成小于等于阈值Th1。如图35所示，通过至少更新单应矩阵HL和HR的平移分量和旋转分量可以良好地进行视差检测。

按照第二种变型的线性几何参数拟合单元340使用更新表计算变换矩阵F。于是，线性几何参数拟合单元340可以减轻计算变换矩阵F的处理负担。由于处理负担的减轻抑制了参数的锯齿状，所以线性几何参数拟合单元340可以计算健壮的变换矩阵F。

由于线性几何参数拟合单元340创建了更新表的容量，所以可以防止超出更新表的容量。

[参数选择单元的变型]

下面描述参数选择单元305的一种变型(变换矩阵调整单元)。按照这种变型的参数选择单元305在使用上述处理选择了单应矩阵HL和HR之后进行如下图像调整处理。

也就是说，如图36所示，参数选择单元305根据单应矩阵HL和HR计算变换矩阵F，并使用变换矩阵F变换左代表性点以便设置核线EP_R-12。参数选择单元305描绘从右代表性点P_R-12到核线EP_R-12的垂直线以获取交点P_R-13。参数选择单元305提取中心在右代表性点P_R-12上的第一外围小片(例如，10×10个像素的小片)Pat1和中心在交点P_R-13上的第二外围小片(例如，10×10个像素的小片)Pat2。参数选择单元305调整单应矩阵HL和HR以便使小片之间的关联度最大。具体地说，参数选择单元305调整单应矩阵HL和HR以便使表达式(60)的数值最小。

\frac{\underset{j}{Σ} {a_{j}}^{2} \cdot \underset{k}{Σ} {b_{k}}^{2}}{{(\underset{i}{Σ} a_{i} \cdot b_{i})}^{2}} &Proportional; \frac{\underset{k}{Σ} {b_{k}}^{2}}{{(\underset{i}{Σ} a_{i} \cdot b_{i})}^{2}} = \underset{k}{Σ} {(\frac{b_{k}}{\underset{i}{Σ} a_{i} \cdot b_{i}})}^{2} &equiv; \underset{k}{Σ} f {(b_{k})}^{2} . . . (60)

这里，a_j和a_i代表第一小片Pat1中的像素的亮度，b_i和b_k代表第二小片Pat2中的像素的亮度.

参数选择单元305通过使用调整后单应矩阵HL和HR和其它代表性对点重复进行上述处理。在对所有代表性对点进行了上述处理之后，参数选择单元305创建有关单应矩阵HL和HR的参数信息，并将创建的参数信息输出到线性几何参数拟合单元303和几何校准执行单元306。

因此，除了单应矩阵HL和HR之外，参数选择单元305还可以高精度地计算变换矩阵F。

上述变型可以任意组合。例如，可以组合所有变型。在这种情况下，线性几何参数拟合单元303通过使用多种方法创建单应矩阵HL和HR。参数选择单元305从这些单应矩阵HL和HR和非线性几何参数拟合单元304创建的单应矩阵HL和HR当中选择最佳者，并通过第三种变型中的处理提高单应矩阵HL和HR的精度。该单应矩阵HL和HR被认为是用于下一帧计算的初始参数。

<2-3.视差检测单元的配置>

下面描述显示在图5中的视差检测单元4的配置。如图37所示，视差检测单元4包括全局匹配单元401、局部匹配单元402、和差异图整合单元403。也就是说，视差检测单元4并行地进行全局匹配处理和局部匹配处理。这里，局部匹配具有精度不依赖于校准的结果或模型(例如，模型公式或代表输入图像V_L的亮度与输入图像V_R的亮度之间的对应关系的变换矩阵F)的长处，但具有经不过堵塞和稳定性差(精度易不均匀)的短处。另一方面，全局匹配具有经得起堵塞和稳定性好的长处，但具有易依赖于校准的结果或模型的短处。因此，视差检测单元4将两者结合在一起，比较所得视差图，并选择较好视差图。

[全局匹配单元的配置]

如图38所示，全局匹配单元401(第一水平视差检测单元)包括DSAD(绝对差动态和)计算单元401、最小值选择单元405、运动描述单元406、锚定矢量构造单元407、成本计算单元408、路径构建单元409、和回溯单元410。

[DSAD计算单元的配置]

DSAD计算单元404根据校准图像V_L-2和V_R-2和颜色校准单元2供应的可靠性图信息为每个左坐标点进行如下处理。也就是说，DSAD计算单元404将左坐标点作为标准坐标点提取具有与左坐标点相同的高度(相同的y坐标)的所有右坐标点作为参考坐标点。DSAD计算单元404从每个参考坐标点的x坐标中减去标准坐标点的x坐标，并将所得值设置成各自标准坐标点的水平视差d1。DSAD计算单元404为所有标准坐标点(即，所有参考坐标点)的水平视差d1计算表达式(61)表达的DSAD(j)(其中j是-2到2的整数)。

DSAD (j) = | \underset{i}{Σ} ((L (i, j) - R (i, j)) - (L (0, j) - R (0, j)) \times α 1) | . . . (61)

这里，i是-2到2的整数，L(i，j)代表y坐标与标准坐标点相差(i+j)的左坐标点的亮度，和R(i，j)代表y坐标与参考坐标点相差(i+j)的右坐标点的亮度。α1代表将颜色校准可靠性图所指的标准坐标点的可靠性归一化成0到1之间的值获得的值，随着可靠性越来越大，越来越接近1。这样，通过使用颜色校准可靠性图计算DSDA值，可以检测具有高健壮性和存在颜色差异的视差。归一化可以将可靠性代入表达式16中来完成。

因此，DSAD计算单元404通过派生标准坐标点和参考坐标点的y坐标计算几个DSAD值。于是，视差检测单元3可以创建考虑到左坐标点与右坐标点之间的垂直差的视差图。DSAD计算单元404将参考坐标点的y坐标的派生设置成相对于标准坐标点的y坐标向上和向下两个像素，但取决于健壮性与精度之间的平衡，可以任意设置这个范围。

DSAD计算单元404创建有关所计算DSAS(-2)到DSAS(+2)的DSAD信息，并将创建的DSAD信息输出到最小值选择单元405。

[最小值选择单元的配置]

最小值选择单元405根据SDAD信息，针对所有左坐标点和水平视差d1选择最小DSAD。最小值选择单元405将所选的DSAD存储在显示在图43中的视差检测DP图的各自节点P(x，d)中。于是，最小DSAD是节点P(x，d)的得分。视差检测DP图包括水平轴代表左坐标点的x坐标和垂直轴代表水平视差d1的多个节点P(x，d)。视差检测DP图用于计算左坐标点的水平视差d1。为左坐标点的每个y坐标创建视差检测DP图。因此，某个视差检测DP图的某个节点P(x，d)对应于某个左坐标点。

[运动描述单元的配置]

如图39所示，运动描述单元406包括水平差值计算单元411、垂直差值计算单元412、时间差值计算单元413、滤波单元414、和运动得分计算单元415。

水平差值计算单元411获取校准图像V_L-2，并对校准图像V_L-2的像素，即，各自左坐标点进行如下处理。也就是说，水平差值计算单元411将各自左坐标点设置成标准坐标点，并从标准坐标点的亮度中减去x坐标比标准坐标点大1的参考坐标点的亮度。水平差值计算单元411将所得值设置成水平差值dx，创建有关水平差值dx的水平差值信息，并将创建的水平差值信息输出到滤波单元414。

垂直差值计算单元412获取校准图像V_L-2，并对校准图像V_L-2的像素，即，各自左坐标点进行如下处理。也就是说，垂直差值计算单元412将每个左坐标点设置成标准坐标点，并从标准坐标点的亮度中减去y坐标比标准坐标点大1的参考坐标点的亮度。垂直差值计算单元412将所得值设置成垂直差值dy，创建有关所计算垂直差值dy的垂直差值信息，并将创建的垂直差值信息输出到滤波单元414。

时间差值计算单元413获取校准图像V_L-2和前帧的校准图像V′_L-2，并对校准图像V_L-2的各自像素，即，各自左坐标点进行如下处理。也就是说，时间差值计算单元413将前帧的校准图像V′_L-2的像素当中具有与标准坐标点相同的坐标的像素设置成参考坐标点。时间差值计算单元413从标准坐标点的亮度中减去参考坐标点的亮度。时间差值计算单元413将所得值设置成时间差值dt，创建有关所计算时间差值dt的时间差值信息，并将创建的时间差值信息输出到滤波单元414。

滤波单元414将低通滤波器应用于水平差值信息、垂直差值信息、和时间差值信息。此后，滤波单元414将这样的信息输出到运动得分计算单元415。

运动得分计算单元415根据水平差值信息、垂直差值信息、和时间差值信息为每个左坐标点确定运动，并且根据确定结果确定运动得分。

具体地说，运动得分计算单元415为每个左坐标点计算亮度变化的时间导数(dx/dt+dy/dt)(单位时间亮度变化)，并且通过将所计算导数代入∑函数中将所计算导数归一化成0到1之间的值。运动得分计算单元415将归一化值设置成运动得分，并且将有关运动得分的运动得分信息输出到锚定矢量构造单元407。运动得分随着左坐标点的亮度变化越来越大(即，随着图像的运动越来越大)而越来越小。

运动得分计算单元415可以按如下计算运动得分。

也就是说，运动得分计算单元415通过降低校准图像V_L-2的分辨率创建马赛克图像V″_L-2。运动得分计算单元415将校准图像V_L-2的各自左坐标点设置成标准坐标点，并将马赛克图像V″_L-2中具有与标准坐标点相同的坐标的坐标点设置成参考坐标点。运动得分计算单元415从标准坐标点的亮度中减去参考坐标点的亮度。运动得分计算单元415通过将所计算差值代入∑函数中将所计算差值归一化成0到1之间的值。运动得分计算单元415将归一化值设置成运动得分。在这种情况下，运动得分在校准图像V_L-2的平常部分中较大。在这种技术中，可以减轻处理负担，并且可以获得健壮运动得分。

[锚定矢量构造单元的配置]

如图40所示，显示在图38中的锚定矢量构造单元407包括局部直方图创建单元416和锚定矢量计算单元417。

局部直方图创建单元416获取在前帧中准备的视差图DM_n-1。局部直方图创建单元416对视差图的各自坐标点(对应于各自左坐标点)进行如下处理。具体地说，局部直方图创建单元416将视差图的每个坐标点设置成标准坐标点，并且从标准坐标点的外围区域(例如，中心在标准坐标点上的5×5像素的区域)中提取水平视差信息。局部直方图创建单元41根据水平视差信息创建显示在图41中的局部直方图DH。局部直方图DH代表水平视差d1的数值与具有该视差值的像素的数量(频率)之间的对应关系。

局部直方图创建单元416创建有关局部直方图DH的局部直方图信息，并将创建的局部直方图信息输出到锚定矢量计算单元417。

锚定矢量计算单元417根据局部直方图信息对各自左坐标点进行如下处理。也就是说，如图41所示，锚定矢量计算单元417搜索频率大于等于预定阈值Th2的水平视差d1，即，高频视差d1′。锚定矢量计算单元417创建指示将运动得分乘以预定值和高频视差d1′获得的好处值的锚定矢量信息，并将创建的锚定矢量信息输出到成本计算单元408。锚定矢量信息通过，例如，表达式(67)表达。

Anchor＝α2×(0...10...0)＝α2×M_d...(67)

这里，α2代表好处值，和矩阵M_d代表高频视差d1′的位置。也就是说，矩阵M_d的列代表不同水平视差d1，和具有分量1的列代表与该列相对应的水平视差d1是高频视差d1′。当不存在高频视差d1′时，矩阵M_d的所有分量都是0。

[成本计算单元的配置]

显示在图38中的成本计算单元408根据锚定矢量信息更新视差检测DP图的节点P(x，d)的值。也就是说，成本计算单元408为每个左坐标点指定与高频视差d1′相对应的节点(x，d(＝d1′))，并且从节点的得分中减去好处值α2。于是，视差与前帧中具有高频的视差相同的节点易通过最短路径。换句话说，在当前帧中易选择前帧中具有高频的视差。

[路径构建单元的配置]

如图42所示，显示在图38中的路径构建单元409包括左眼图像水平差值计算单元418、右眼图像水平差值计算单元419、权重计算单元420、和路径计算单元421。

左眼图像水平差值计算单元418进行与水平差值计算单元411所进行相同的处理。左眼图像水平差值计算单元418将通过该处理创建的水平差值信息输出到权重计算单元420。

右眼图像水平差值计算单元419获取校准图像V_R-2。右眼图像水平差值计算单元419对校准图像V_R-2进行与水平差值计算单元411所进行相同的处理。右眼图像水平差值计算单元419将通过该处理创建的水平差值信息输出到权重计算单元420。

权重计算单元420根据水平差值信息为所有坐标点计算左坐标点的权重wt_L和右坐标点的重叠wt_R。具体地说，权重计算单元420通过将左坐标点的水平差值dw_L代入∑函数中将水平差值dw_L归一化成0到1之间的值，并将所得值设置成权重wt_L。类似地，权重计算单元420通过将右坐标点的水平差值dw_R代入∑函数中将水平差值dw_R归一化成0到1之间的值，并将所得值设置成权重wt_R。权重计算单元420创建有关所计算权重wt_L和wt_R的权重信息，并将创建的权重信息输出到路径计算单元421。权重wt_L和wt_R在图像的边缘部分(轮廓)中较小，而在平常部分中较大。

路径计算单元421根据权重计算单元420供应的权重信息计算直到视差检测DP图的各自节点P(x，d)的累积成本。具体地说，将节点(0，0)作为起点，将节点(x_max，0)作为终点，路径计算单元421将从起点到节点P(x，d)的累积成本定义如下。这里，x_max是左坐标点的x坐标的最大值。

DFI(x，d)₀＝DFI(x，d-1)+occCost₀+occCost₁×wt_R...(68)

DFI(x，d)₁＝DFI(x-1，d)+DFD(x，d)...(69)

DFI(x，d)₂＝DFI(x-1，d+1)+occCost₀+occCost₂×wt_L...(70)

这里，DFI(x，d)₀代表经由路径PA_d0到达节点P(x，d)的累积成本，DFI(x，d)1代表经由路径PA_d1到达节点P(x，d)的累积成本，和DFI(x，d)₂代表经由路径PA_d2到达节点P(x，d)的累积成本。DFI(x，d-1)代表从起点到节点P(x，d-1)的累积成本。DFI(x-1，d)代表从起点到节点P(x-1，d)的累积成本。DFI(x-1，d+1)代表从起点到节点P(x-1，d+1)的累积成本。occCost₀和occCost₁的每一个是代表成本值的预定值，例如，4.0。wt_L代表与节点P(x，d)相对应的左坐标点的权重，wt_R代表具有与左坐标点相同的坐标的右坐标点的权重。

路径计算单元421选择所计算累积成本DFI(x，d)₀到DFI(x，d)₂当中的最大者，并将所选值设置成节点P(x，d)的累积成本DFI(x，d)。路径计算单元421为所有节点P(x，d)计算累积成本DFI(x，d)，并将计算的累积成本存储在视差检测DP图中。

回溯单元410通过从终点到起点回溯累积成本最小的路径，计算最短路径，即，从起点到终止的累积成本最小的路径。最短路径中的节点是对应左坐标点的水平视差d1。

回溯单元410根据所计算的最短路径和后面所述的局部匹配单元供应的垂直视差信息创建视差图DM₁。视差图DM₁代表每个左坐标点的水平视差d1和垂直视差d2。回溯单元410创建有关所创建视差图DM₁的视差图信息，并将创建的视差图信息输出到显示在图37中差异图整合单元403。这里，视差图DM₁存储左坐标点的y坐标与具有与左坐标点相同的x坐标的右坐标点的y坐标之间的差值，即，被局部匹配单元402确定为最佳的垂直视差d2。

[局部匹配单元的配置]

局部匹配单元402(第二水平视差检测单元)通过进行所谓的块匹配处理为每个像素块计算视差图DM₂。视差图DM₂代表每个左坐标点的水平视差d1和垂直视差d2。

具体地说，局部匹配单元402将校准图像V_L-2和V_R-2的每一个划分成多个像素块。例如，与几何校准单元3一样，局部匹配单元402将校准图像V_L-2和V_R-2的每一个划分成64个像素块。局部匹配单元420对校准图像V_L-2的各自像素块(在下文中，也称为“左像素块”)进行与全局匹配单元401所进行相同的处理。这里，局部匹配单元402还计算每个左坐标点的垂直视差d2。计算垂直视差d2的方法与全局匹配单元401所进行的相同。例如，局部匹配单元402在计算DSAD的过程中，通过将具有与标准坐标点相同的x坐标的右坐标点设置成参考坐标点沿着y轴方向计算DSAD。因此，局部匹配单元402创建计算垂直视差d2的视差检测DP图，计算视差检测DP图的最短路径，并根据最短路径计算每个左坐标点的垂直视差d2。

局部匹配单元402将有关所创建视差检测DP图的视差图信息输出到差异图整合单元403，创建有关垂直视差d2的垂直视差信息，并将创建的垂直视差信息输出到全局匹配单元401。

[差异图整合单元的配置]

差异图整合单元403首先根据视差图信息估计全局匹配单元401创建的视差图DM₁和局部匹配单元402创建的视差图DM₂。

具体地说，差异图整合单元403创建代表当前帧的视差图DM₁与前帧的视差图DM₁之间的差值的第一差值图。第一差值图代表针对每个左坐标点从当前帧的视差图DM₁的水平视差d1中减去前帧的视差图DM₁的水平视差d1获得的值。差异图整合单元403通过将第一差值图二进制化创建第一二进制差值图。差异图整合单元403通过将第一二进制差值图乘以预定权重(例如，8)创建第一差值得分图。

差异图整合单元403创造当前帧的视差图DM₁和当前帧的校准图像V_L-2的边缘图像，并且创建代表它们之间的关联度的关联度图。当前帧的视差图DM₁的边缘图像指示当前帧的视差图DM₁的边缘部分(描绘在当前帧的视差图DM₁中的图像的轮廓部分)。类似地，校准图像V_L-2的边缘图像指示校准图像V_L-2的边缘部分(描绘在校准图像V_L-2中的图像的轮廓部分)。可以任意使用像NCC那样计算关联度的方法作为计算边缘图像之间的关联度的方法。差异图整合单元403通过将关联度图二进制化创建二进制关联度图。差异图整合单元403通过将二进制关联度图的值乘以预定权重(例如，26)创建关联度得分图。

差异图整合单元403通过整合第一差值得分图和关联度得分图并将IIR滤波器应用于此创建全局匹配可靠性图EM_G。全局匹配可靠性图EM_G的各自左坐标点的值指的是第一差值得分图的值与关联度得分图的值的较大值。

另一方面，差异图整合单元403创建代表当前帧的视差图DM₂与前帧的视差图DM₂之间的差值的第二差值图。第二差值图代表针对每个左坐标点从当前帧的视差图DM₂的水平视差d2中减去前帧的视差图DM₂的水平视差d2获得的值。差异图整合单元403通过将第二差值图二进制化创建第二二进制差值图。差异图整合单元403通过将第二二进制差值图乘以预定权重(例如，16)创建第二差值得分图。

差异图整合单元403创造当前帧的校准图像V_L-2的边缘图像。该边缘图像指示校准图像V_L-2的边缘部分(描绘在校准图像V_L-2中的图像的轮廓部分)。差异图整合单元403通过将边缘图像二进制化创建二进制边缘图。差异图整合单元403通过将二进制边缘图的值乘以预定权重(例如，8)创建边缘得分图。

差异图整合单元403通过整合第二差值得分图和边缘得分图并将IIR滤波器应用于此创建局部匹配可靠性图EM_L。局部匹配可靠性图EM_L的各自左坐标点的值指的是第二差值得分图的值与边缘得分图的值的较大值。

这样，差异图整合单元403通过使用不同估计方法估计全局匹配单元401创建的视差图DM₁并整合估计结果创建全局匹配可靠性图EM_G。类似地，差异图整合单元403通过使用不同估计方法估计局部匹配单元402创建的视差图DM₂并整合估计结果创建局部匹配可靠性图EM_L。这里，视差图DM₁的估计方法和视差图DM₂的估计方法彼此不同。取决于估计方法，进行不同加权。

差异图整合单元403通过将全局匹配可靠性图EM_G与局部匹配可靠性图EM_L相比较，对每个左坐标点确定视差图DM₁和视差图DM₂哪一个较高。差异图整合单元403根据确定结果，为每个左坐标点创建代表具有较高可靠性的视差图的视差检测可靠性图EM。

图44A和44B示出了视差检测可靠性图EM的例子。也就是说，图44A示出了不进行几何校准时创建的视差检测可靠性图EM1，而图44B示出了进行几何校准时创建的视差检测可靠性图EM2。区域EM11代表视差图DM₁具有比视差图DM₂高的可靠性的区域，而区域EM12代表视差图DM₂具有比视差图DM₁高的可靠性的区域。

由于如上所述局部匹配不取决于校准结果，所以视差检测可靠性图EM1中的区域EM12比视差检测可靠性图EM2中的区域EM12宽。

相反，当像这个实施例那样进行高精度的几何校准时，全局匹配可以实现良好的视差检测。于是，视差检测可靠性图EM2中的区域EM11比视差检测可靠性图EM1中的区域EM11宽。

差异图整合单元403根据创建的视差检测可靠性图创建视差图DM。这里，视差图DM中的每个左坐标点的水平视差d1指示视差图DM₁和视差图DM₂具有较高可靠性的值。

图45A，45B，和45C是例示由视差图引起的优点的图形。图45A示出了根据视差图DM₁创建的多视点图像V_V1，图45B示出了根据视差图DM₂创建的多视点图像V_V2，和图45C示出了根据视差图DM创建的多视点图像V_V3。在多视点图像V_V1到V_V3中描绘了被摄物图像V_V10到V_V30。被摄物图像V_V10到V_V30的顶端V_V11到V_V31是上述模型不适合的区域。

由于全局匹配的精度取决于模型，所以顶端V_V11断裂了。由于视差图DM代表视差图DM₁和视差图DM₂具有较高可靠性的那一种，所以将视差图DM₂的值应用于顶端V_V31的区域。于是，根据视差图DM₂创建顶端V_V31。因此，顶端V_V31也没有断裂。

[由视差检测单元引起的优点]

下面描述由视差检测单元4引起的优点。

由于视差检测单元4在计算DSAD时考虑到了y轴方向的视差，所以可以进行就几何差异(垂直差异)而言健壮的视差检测。也就是说，视差检测单元4可以更健壮地和更高精度地检测水平视差。由于视差检测单元4限制了考虑沿着y轴方向的视差的范围(这里，围绕标准坐标点向上和向下两个像素)，所以可以防止优化问题遭到破坏。

由于视差检测单元4在计算DSAD时考虑到了通过颜色校准计算的可靠性，所以可以进行考虑到健壮性与精度之间的平衡的视差检测。

由于视差检测单元4将DSAD用作视差检测DP图的得分，所以与只将SAD用作得分的情况相比，可以更高精度地计算视差检测DP图的得分，因此更高精确地进行视差检测。

由于视差检测单元4根据运动确定结果将好处指定给视差检测DP图的得分，所以可以高精度地计算视差检测DP图的得分。视差检测单元4可以通过降低校准图像V_L-2的分辨率创建马赛克图像V″_L-2，并且可以根据马赛克图像V″_L-2计算运动得分。在这种情况下，可以减轻处理负担和获取健壮运动得分。

由于视差检测单元4在计算各自节点P(x，d)的累积成本时根据水平差值考虑权重wt_L和wt_R，所以可以高精度地计算累积成本。由于权重wt_L和wt_R在边缘部分中变小而在平常部分中变大，所以取决于图像，适当地进行平滑。

由于视差检测单元4使通过全局匹配计算的视差图DM₁包括通过局部匹配计算的垂直视差d2，所以可以提高视差图DM₁的精度。例如，即使输入图像V_L和V_R未对准，视差图DM₁也是健壮的。

由于视差检测单元4创建了代表视差图DM₁的边缘图像与校准图像V_L-2之间的关联度的关联度图，并根据关联度图计算视差图DM₁的可靠性，所以可以在视差图DM₁的所谓条纹区中计算可靠性。于是，视差检测单元4可以在条纹区中高精度地进行视差检测。

由于视差检测单元4在估计视差图DM₁和视差图DM₂时使用差值估计方法估计视差图DM₁和视差图DM₂，所以可以考虑这些特性地进行估计。

由于视差检测单元4通过将IIR滤波器应用于使用估计方法获得的图形创建全局匹配可靠性图EM_G和局部匹配可靠性图EM_L，所以可以创建随时间稳定的可靠性图。

由于视差检测单元4使用视差图DM₁和视差图DM₂具有较高可靠性的那个创建视差图DM，所以可以在通过全局匹配不很难检测精确视差的区域中和在通过局部匹配很难检测精确视差的区域中检测精确视差。

由于视差检测单元4考虑到了在下一个帧中创建的视差图DM，所以与并行地简单进行多种匹配方法的情况相比，可以更高精度地进行视差检测。

<3.图像处理设备的处理>

下面描述图像处理设备的处理

[颜色校准单元的处理]

首先，参考显示在图46中的流程图描述颜色校准单元进行的处理。

在步骤S10中，如图8A所示，块划分单元207将输入图像V_L划分成八个像素块B_L-1。类似地，如图8B所示，块划分单元207将输入图像V_R划分成八个像素块B_R-1。

然后，块划分单元207将各个像素块B_L-1和B_R-1的灰度级降低到64个灰度级。块划分单元207将有关像素块B_L-1和B_R-1的块信息输出到直方图创建单元208。

直方图创建单元208根据块信息为每个像素块B_L-1创建显示在图9A中的颜色直方图CH_L。类似地，直方图创建单元208为每个像素块B_R-1创建显示在图9B中的颜色直方图CH_R。直方图创建单元208将颜色直方图CH_L和颜色直方图CH_R相互关联。直方图创建单元208创建有关直方图CH_L和CH_R的颜色直方图信息，并将创建的直方图信息输出到DP匹配单元209。

DP匹配单元209根据颜色直方图信息为像素块B_L-1和B_R-1的每个组进行如下处理。也就是说，DP匹配单元209首先创建显示在图10中的颜色对应检测DP图。然后，DP匹配单元209将节点P(0，0)设置成起点，将节点P(63，63)设置成终点，并如表达式(1)到(3)所表达定义从起点到节点P(n_L，n_R)的累积成本。

DP匹配单元209通过计算从起点到包括终点的各自节点的累积成本，并回溯从终点到起点具有最小累积成本的路径计算最短路径，即，从起点到终点的累积成本最小的路径。DP匹配单元209创建有关为像素块B_L-1和B_R-1的每个组计算的最短路径的最短路径信息，并将创建的最短路径信息输出到颜色对计算单元210。

颜色对计算单元210根据最短路径信息为像素块B_L-1和B_R-1的每个组计算颜色对。颜色对计算单元210为每个像素块B_L-1计算250个颜色对，总共计算2000个颜色对。颜色对计算单元210创建有关所计算颜色对的颜色对信息，并将创建的颜色对信息输出到线性颜色参数拟合单元202和非线性颜色参数拟合单元204。

在步骤S20中，线性颜色参数拟合单元202根据颜色对信息计算表达输入图像V_L的亮度与输入图像V_R的亮度之间的对应关系的模型公式。这个模型公式由表达式(7)表达。

具体地说，相加矩阵计算单元211为所有颜色对计算表达式(8)表达的矩阵。相加矩阵计算单元211通过相加所有计算的矩阵计算由表达式(9)表达的相加矩阵M₁。

系数计算单元212根据颜色对信息为所有颜色对计算由表达式(10)表达的矩阵。系数计算单元212通过相加所有计算的矩阵计算由表达式(11)表达的系数计算矩阵A。系数计算单元212根据表达式(12)计算颜色校正系数w_i和w_a的第一初始值coef(w)₁。

滤波单元213根据系数计算单元212供应的第一初始值信息、系数存储单元214供应的前帧的线性校正系数信息、和表达式(13)计算颜色校正系数w_i和w_a的第二初始值coef(w)₂。

滤波单元213通过将IIR滤波器应用于第二初始值coef(w)₂，计算颜色校正系数w_i和w_a作为线性校正系数coef(linear)。滤波单元213将有关所计算线性校正系数coef(linear)的线性校正系数信息输出到系数存储单元214、非线性颜色参数拟合单元204、估计单元205、和颜色校准执行单元206。

另一方面，特征量匹配单元203通过将当前帧的输入图像V_L和V_R的亮度相互匹配提取颜色对。然后，特征量匹配单元203创建有关所提取颜色对的颜色对信息，并将创建的颜色对信息输出到非线性颜色参数拟合单元204和估计单元205。

在步骤S30中，非线性颜色参数拟合单元204根据颜色对信息和线性校正系数信息或非线性校正系数信息计算颜色校正系数w_i和w_a作为非线性校正系数coef(nonlinear)。

具体地说，雅可比矩阵计算单元215根据线性校正系数信息或非线性校正系数信息和直方图匹配单元201和特征量匹配单元203供应的颜色对信息计算表达式(14)表达的雅可比矩阵J₁。雅可比矩阵计算单元215创建有关所计算雅可比矩阵J₁的雅可比矩阵信息，并将创建的雅可比矩阵信息输出到海赛矩阵计算单元216。

海赛矩阵计算单元216根据雅可比矩阵计算单元215供应的信息计算由表达式(17)表达的海赛矩阵H₁。海赛矩阵计算单元216创建有关海赛矩阵H₁的海赛矩阵信息，并将创建的海赛矩阵信息与雅可比矩阵计算单元215供应的信息一起输出到系数更新单元217。

然后，系数更新单元217创建有关所计算非线性校正系数coef(nonlinear)的非线性校正系数信息，并确定非线性校正系数coef(nonlinear)是否收敛在常数值上。系数更新单元217在确定非线性校正系数coef(nonlinear)收敛时，将非线性校正系数信息输出到估计单元205和颜色校准执行单元206，而在确定非线性校正系数coef(nonlinear)不收敛时，将非线性校正系数信息输出到雅可比矩阵计算单元215。此后，再次进行步骤S30的处理。

在步骤S40中，颜色转换单元218获取当前帧的输入图像V_L和V_R。颜色转换单元218根据输入图像V_L和V_R和线性颜色参数拟合单元202供应的线性校正系数信息校正输入图像V_R的亮度。颜色转换单元218将校正值设置成输入图像V_R的新亮度。颜色转换单元218将输入图像V_L和校正后输入图像V_R作为线性颜色校准图像V_L-1a和V_R-1a输出到基于直方图可靠性计算单元219。

基于直方图可靠性计算单元219将线性颜色校准图像V_L-1a和V_R-1a的每一个划分成八个像素块B_L-1和B_R-1。基于直方图可靠性计算单元219为像素块B_L-1和B_R-1的每一个创建代表亮度与具有该亮度的像素的数量(频率)之间的对应关系的校正颜色直方图。

基于直方图可靠性计算单元219通过使用归一化交叉关联(NCC)计算像素块B_L-1的校正颜色直方图与像素块B_R-1的校正颜色直方图之间的相似度。

基于直方图可靠性计算单元219计算每个像素块B_L-1的相似度，并且通过将相似度代入表达式(16)的误差中将相似度归一化成0到1的值。基于直方图可靠性计算单元219将归一化值设置成线性校正系数coef(linear)的可靠性。基于直方图可靠性计算单元219创建有关每个像素块B_L-1的所计算可靠性的线性校正系数可靠性信息，并将创建的线性校正系数可靠性信息输出到可靠性图创建单元221。

另一方面，基于特征点可靠性计算单元220根据特征量匹配单元203供应的颜色对信息将输入图像V_L中的特征点分类成八个像素块B_L-1。基于特征点可靠性计算单元220根据非线性颜色参数拟合单元204供应的非线性校正系数信息，为每个像素块B_L-1计算非线性校正系数coef(nonlinear)的可靠性。基于特征点可靠性计算单元220创建有关每个像素块B_L-1的所计算可靠性的非线性校正系数可靠性信息，并将创建的非线性校正系数可靠性信息输出到可靠性图创建单元221。

可靠性图创建单元221根据基于直方图可靠性计算单元219和基于特征点可靠性计算单元220供应的信息创建颜色校准可靠性图。可靠性图创建单元221创建有关所创建颜色校准可靠性图的可靠性图信息，并将创建的可靠性图信息输出到颜色校准执行单元206和视差检测单元4。

在步骤S50中，颜色校准执行单元206获取当前帧的输入图像V_L和V_R。颜色校准执行单元206根据可靠性图信息确定将哪些校正系数用于每个像素块B_L-1。颜色校准执行单元206根据线性校正系数信息和非线性校正系数信息为每个像素块B_L-1进行颜色校准。

[几何校准单元的处理]

下面参考显示在图47中的流程图描述几何校准单元3进行的处理的流程。

在步骤S60中，特征量匹配单元301通过将颜色校准图像V_L-1和V_R-1相互匹配计算特征量矢量VE₁。特征量匹配单元301创建有关像素块B_L-2和B_R-2的特征量矢量信息，并将创建的特征量矢量信息输出到对应点细化单元302和非线性几何参数拟合单元304。

在步骤S70中，直方图创建单元307根据特征量矢量信息为每个像素块B_L-1创建代表特征量矢量VE₁的每个分量的频率的矢量分量直方图。直方图创建单元307创建有关矢量分量直方图的矢量分量直方图信息，并将创建的矢量分量直方图信息输出到滤波单元308。

滤波单元308通过多次将高斯滤波器应用于矢量分量直方图信息平滑矢量分量直方图。滤波单元308创建有关平滑矢量分量直方图的平滑直方图信息，并将创建的平滑直方图信息输出到最大频率检测单元309和对应点选择单元311。

最大频率检测单元309根据平滑直方图信息从矢量分量直方图中指定在最大频率上的x分量和y分量。将包括该x分量和y分量的特征量矢量VE₁设置成特征量矢量VE₁所属的像素块B_L-2的代表性矢量VE₂。于是，最大频率检测单元390为每个像素块B_L-2计算代表性矢量VE₂。最大频率检测单元309创建有关代表性矢量VE₂的分量的代表性矢量分量信息，并将创建的代表性矢量分量信息输出到坐标分配单元310。

坐标分配单元310根据代表性矢量分量信息，通过平均移动处理确定代表性矢量VE₂的坐标(起点的坐标)。坐标分配单元310创建有关代表性矢量VE₂的分量和坐标的代表性矢量信息，并将创建的代表性矢量信息输出到对应点选择单元311。

对应点选择单元311根据代表性矢量信息和平滑直方图信息从多个代表性矢量VE₂中删除最大频率小于预定值的代表性矢量(即，删除最大频率小于预定值的代表性矢量)。对应点选择单元311创建有关构成所选代表性矢量VE₂的特征点对，即，代表性点对的对应点选择信息，并将创建的对应点选择信息输出到线性几何参数拟合单元303。

在步骤S80中，误差计算单元315根据对应点选择信息和参数选择单元305供应的参数信息计算误差值e1和e2。误差计算单元315创建有关所计算误差值e1和e2的误差值信息，并将创建的误差值信息与对应点选择信息一起输出到初始参数选择单元316。误差计算单元315选择较小的误差值，并创建有关所选误差值的最小误差值信息。误差计算单元315将最小误差值信息和对应点选择信息输出到权重计算单元313。

坐标对整合单元318整合初始参数选择单元316和坐标对存储单元317供应的对应点选择信息。坐标对整合单元318将整合的对应点选择信息输出到权重计算单元313和线性几何参数计算单元314。

权重计算单元313计算指示在计算变换矩阵F时，应该多大程度考虑时间轴限制的权重，即，时间轴限制权重w_e。权重计算单元313创建有关所确定时间轴限制权重w_e的时间轴限制权重信息，并将创建的时间轴限制权重信息输出到线性几何参数计算单元314。

坐标变换单元319根据初始化单元315供应的信息变换代表性点对的坐标。具体地说，坐标变换单元319通过使用前帧的单应矩阵HL_n-1或单位矩阵I变换左代表性点的坐标，以及通过使用前帧的单应矩阵HR_n-1或单位矩阵I变换右代表性点的坐标。坐标变换单元319归一化代表性点对的坐标和初始参数。然后，坐标变换单元319创建有关代表性点对的归一化坐标和归一化单应矩阵WL和WR的坐标变换信息，并将创建的坐标变换信息输出到矩阵计算单元320。

矩阵计算单元320根据坐标变换信息计算由表达式(34)表达的运算矩阵M₂。矩阵计算单元320创建有关所计算运算矩阵M₂的运算矩阵信息，并将创建的运算矩阵信息输出到F矩阵计算单元321。

F矩阵计算单元321根据运算矩阵信息计算运算矩阵M₂的最小本征矢v_min。F矩阵计算单元321将最小本征矢v_min奇异分解成3×3矩阵，以便使最小本征矢v_min的最小奇异值归于0。F矩阵计算单元321根据所计算矩阵SVD(V_min)和表达式(36)计算变换矩阵F。F矩阵计算单元321通过从权重w_e的值中派生出像2²×w_e，2×w_e，2^-1×w_e，2^-2×w_e那样的几个值来计算变换矩阵F。F矩阵计算单元321将表达式(32)用于每个所计算变换矩阵F计算误差值。F矩阵计算单元321选择具有最小误差值的变换矩阵F，创建有关所选变换矩阵F的变换矩阵信息，并将创建的变换矩阵信息与坐标变换信息一起输出到F矩阵分解单元322。

F矩阵分解单元322根据变换矩阵信息将变换矩阵F分解成单应矩阵HL和HR和矩阵F₀。实际上，F矩阵分解单元322计算使核线相互平行的矩阵作为单应矩阵HL和HR。F矩阵分解单元322创建有关所计算单应矩阵HL和HR的线性校正系数信息，并将创建的线性校正系数信息输出到非线性几何参数拟合单元304和参数选择单元305。

在步骤S90中，雅可比矩阵计算单元323根据特征量矢量信息和线性校正系数信息或非线性校正系数信息计算表达式(43)表达的雅可比矩阵J₂。雅可比矩阵计算单元323创建有关所计算雅可比矩阵J₂的雅可比矩阵信息，并将创建的雅可比矩阵信息与特征量矢量信息和线性校正系数信息一起输出到海赛矩阵计算单元324。

海赛矩阵计算单元324根据雅可比矩阵计算单元323供应的信息计算表达式(45)表达的海赛矩阵H₂。海赛矩阵计算单元324创建有关所计算海赛矩阵H₂的海赛矩阵信息，并将创建的海赛矩阵信息与雅可比矩阵计算单元323供应的信息一起输出到系数更新单元325。

系数更新单元325通过使用与F矩阵分解单元322所进行相同的处理分解非线性校正系数coef(nonlinear)计算单应矩阵HL和HR。系数更新单元325创建有关所计算单应矩阵HL和HR的非线性校正系数信息。系数更新单元325确定单应矩阵HL和HR是否收敛在常数值上，当确定单应矩阵HL和HR收敛在常数值上时，将非线性校正系数信息输出到参数选择单元306，而当确定单应矩阵HL和HR不收敛时，将非线性校正系数信息输出到雅可比矩阵计算单元323。此后，再次进行步骤S90的处理。

在步骤S100中，显示在图16中的参数选择单元305使用表达式(32)计算线性几何参数拟合单元303供应的线性校正系数信息和非线性几何参数拟合单元304供应的非线性校正系数信息的误差值。参数选择单元305选择具有较小误差值的信息作为参数信息，并将所选信息输出到几何校准执行单元306和线性几何参数拟合单元303。

在步骤S110中，几何校准执行单元306根据参数信息对颜色校准图像V_L-1和V_R-1进行几何校准。具体地说，几何校准执行单元306通过使用单应矩阵HL变换颜色校准图像V_L-1的坐标点的坐标，通过使用单应矩阵HR变换颜色校准图像V_R-1的坐标点的坐标。几何校准执行单元306将经过几何校准的图像作为校准图像V_L-2和V_R-2输出到显示在图5中的视差检测单元4。

[视差检测单元的处理]

下面参考显示在图48中的流程图描述视差检测单元4进行的处理的流程图。

在步骤S120中，DSAD计算单元404根据校准图像V_L-2和V_R-2和颜色校准单元2供应的可靠性图信息为每个左坐标点DSAS(-2)到DSAS(+2)，创建有关所计算DSAS(-2)到DSAS(+2)的DSAD信息，并将创建的DSAD信息输出到最小值选择单元405。

在步骤S130中，最小值选择单元405根据SDAD信息，针对所有左坐标点和水平视差d1选择最小DSAD。最小值选择单元405将所选的DSAD存储在显示在图43中的视差检测DP图的节点P(x，d)中。

另一方面，水平差值计算单元411获取校准图像V_L-2，并对校准图像V_L-2的每个像素，即，每个左坐标点计算水平差值dx，创建有关所计算水平差值dx的水平差值信息，并将创建的水平差值信息输出到滤波单元414。

另一方面，垂直差值计算单元412获取校准图像V_L-2，并对校准图像V_L-2的每个像素，即，每个左坐标点计算垂直差值dy，创建有关所计算垂直差值dy的垂直差值信息，并将创建的垂直差值信息输出到滤波单元414。

另一方面，时间差值计算单元413获取校准图像V_L-2和前帧的校准图像V′_L-2，并对校准图像V_L-2的每个像素，即，每个左坐标点计算时间差值dt，创建有关所计算时间差值dt的时间差值信息，并将创建的时间差值信息输出到滤波单元414。

滤波单元414将低通滤波器应用于水平差值信息、垂直差值信息、和时间差值信息。此后，滤波单元414将该信息输出到运动得分计算单元415。

运动得分计算单元415根据水平差值信息、垂直差值信息、和时间差值信息进行每个左坐标点的运动，并且确定与确定结果相对应的运动得分。运动得分计算单元415将有关所确定运动得分的运动得分信息输出到锚定矢量构造单元407。运动得分随着左坐标点的亮度变化越来越大(即，随着图像的运动越来越大)而越来越小。

局部直方图创建单元416获取在前帧中创建的视差图DM_n-1。局部直方图创建单元416为视差图的每个坐标点(对应于各自左坐标点)创建显示在图41中的局部直方图DH。局部直方图创建单元416创建有关局部直方图DH的局部直方图信息，并将创建的局部直方图信息输出到锚定矢量计算单元417。

锚定矢量计算单元417根据局部直方图信息对每个左坐标点进行如下处理。也就是说，如图41所示，锚定矢量计算单元417搜索频率大于等于预定阈值Th2的水平视差d1，即，高频视差d1′。锚定矢量计算单元417创建指示将运动得分乘以预定值和高频视差d1′获得的好处值的锚定矢量信息，并将创建的锚定矢量信息输出到成本计算单元408。

在步骤S140中，显示在图38中的成本计算单元408根据锚定矢量信息更新视差检测DP图的节点P(x，d)的值。也就是说，成本计算单元408为每个左坐标点指定与高频视差d1′相对应的节点(x，d(＝d1′))，并且从节点的得分中减去好处值α2。

在步骤S150中，左眼图像水平差值计算单元418进行与水平差值计算单元411所进行相同的处理。左眼图像水平差值计算单元418将通过这种处理创建的水平差值信息输出到权重计算单元420。

另一方面，右眼图像水平差值计算单元419获取校准图像V_R-2。右眼图像水平差值计算单元419对校准图像V_R-2进行与水平差值计算单元411所进行相同的处理。右眼图像水平差值计算单元419将通过这种处理创建的水平差值信息输出到权重计算单元420。

权重计算单元420根据水平差值信息为所有坐标点计算左坐标点的权重wt_L和右坐标点的重叠wt_R。权重计算单元420创建有关所计算权重wt_L和wt_R的权重信息，并将创建的权重信息输出到路径计算单元421。权重wt_L和wt_R在图像的边缘部分(轮廓)中较小。

路径计算单元421根据权重计算单元420供应的权重信息计算直到视差检测DP图的各自节点P(x，d)的累积成本。具体地说，路径计算单元421将节点(0，0)设置成起点，将节点(x_max，0)设置成终点，并如表达式(68)到(70)所表达定义从起点到节点P(x，d)的累积成本。

路径计算单元421选择所计算累积成本DFI(x，d)₀到DFI(x，d)₂的最小者，并将所选值设置成节点P(x，d)的累积成本DFI(x，d)。路径计算单元421为所有节点P(x，d)计算累积成本DFI(x，d)，并将计算的累积成本存储在视差检测DP图中。

回溯单元410通过从终点到起点回溯具有最小累积成本的路径，计算最短路径，即，从起点到终止的累积成本最小的路径。

另一方面，局部匹配单元402创建视差图DM₂，并将有关所创建视差图DM₂的视差图信息输出到差异图整合单元403。局部匹配单元402创建有关垂直视差d2的垂直视差信息，并将创建的垂直视差信息输出到全局匹配单元401。

在步骤S160中，回溯单元410根据所计算的最短路径和局部匹配单元供应的垂直视差信息创建视差图DM₁。回溯单元410创建有关所创建视差图DM₁的视差图信息，并将创建的视差图信息输出到显示在图37中的差异图整合单元403。

在步骤S170中，差异图整合单元403根据视差图信息估计全局匹配单元401创建的视差图DM₁和局部匹配单元402创建的视差图DM₂。也就是说，差异图整合单元403通过使用不同估计方法估计全局匹配单元401创建的视差图DM₁并整合估计结果创建全局匹配可靠性图EM_G。类似地，差异图整合单元403通过使用不同估计方法估计局部匹配单元402创建的视差图DM₂并整合估计结果创建局部匹配可靠性图EM_L。

差异图整合单元403通过相互比较全局匹配可靠性图EM_G和局部匹配可靠性图EM_L，为每个左坐标点确定视差图DM₁和视差图DM₂哪一个的可靠性较高。差异图整合单元403根据确定结果为每个左像素块创建定义具有较高可靠性的视差图的视差检测可靠性图EM。

差异图整合单元403根据创建的视差检测可靠性图EM创建视差图DM。这里，视差图DM中每个左坐标点的水平视差d1具有视差图DM₁和视差图DM₂具有较高可靠性的数值。

至此已经参考附图详细描述了本公开的优选实施例，但本公开不局限于这些优选实施例。本领域的普通技术人员可以不偏离所附权利要求书的技术构思地以各种形式修改或改变本公开，不言而喻，这些修改或改变都属于本公开的技术构思。

本公开包含与公开在都在2011年3月28日向日本专利局提交的日本优先权专利申请JP 2011-070634、JP 2011-070635、和JP 2011-070636中的主题有关的主题，特此通过引用并入其全部内容。

Claims

1.一种图像处理设备，其包含：

水平视差检测单元，用于在在相互不同的水平位置上描绘同一被摄物的标准图像和参考图像中，将构成标准图像的标准像素与构成参考图像的像素当中，处在与标准像素相同的高度位置上的第一参考像素和处在与第一参考像素不同的高度位置上的第二参考像素相比较，并根据比较结果检测标准像素的水平视差。

2.按照权利要求1所述的图像处理设备，其中所述水平视差检测单元计算用于估计包括标准像素的标准区域中的特征量与包括第一参考像素的第一参考区域中的特征量之差的第一估计值、和用于估计标准区域中的特征量与包括第二参考像素的第二参考区域中的特征量之差的第二估计值，并且根据第一估计值和第二估计值检测标准像素的水平视差。

3.按照权利要求2所述的图像处理设备，进一步包含：

校正执行单元，用于在检测水平视差之前校正标准图像和参考图像；以及

校正可靠性计算单元，用于计算所述校正执行单元中的校正的可靠性，

其中所述水平视差检测单元根据所述校正可靠性计算单元计算的可靠性计算第一估计值和第二估计值。

4.按照权利要求2所述的图像处理设备，其中所述水平视差检测单元计算每单位时间标准像素的特征量的变化，并且根据所计算的变化计算第一估计值和第二估计值。

5.按照权利要求2所述的图像处理设备，其中所述水平视差检测单元通过降低标准图像的分辨率创建马赛克图像，计算标准图像中的标准像素的特征量与马赛克图像中的标准像素的特征量之差，并且根据所计算的差值计算第一估计值和第二估计值。

6.按照权利要求2所述的图像处理设备，其中所述水平视差检测单元创建DP图，其中一个节点包括标准像素的水平位置和标准像素的水平视差作为它的成分，并且该节点具有第一估计值和第二估计值当中通过使用第一估计值和第二估计值估计的差值的绝对值较小的估计值作为它的得分，根据标准像素与标准像素外围区域的像素之间的特征量差值、处在与标准像素相同的位置上的标准对应像素与构成参考图像的像素当中标准对应图像外围区域的像素之间的特征量差值、和节点的得分计算从起点到对应节点的累积成本，计算从起点到终点的累积成本最小的最短路径，并且根据所计算的最短路径检测标准像素的水平视差。

7.按照权利要求1所述的图像处理设备，其中将第二参考像素与第一参考像素之间的高度位置差限制在预定范围内。

8.按照权利要求1所述的图像处理设备，进一步包含：

第二水平视差检测单元，用于通过使用除了作为第一水平视差检测单元的所述水平视差检测单元使用的检测方法之外的其它检测方法，检测标准像素的水平视差；以及

差异图整合单元，用于计算所述第一水平视差检测单元检测的标准像素的水平视差和所述第二水平视差检测单元检测的标准像素的水平视差的可靠性，并且创建指示对于标准像素来说具有较高可靠性的水平视差的差异图。

9.按照权利要求8所述的图像处理设备，其中所述差异图整合单元分别使用不同估计方法计算所述第一水平视差检测单元检测的标准像素的水平视差和所述第二水平视差检测单元检测的标准像素的水平视差的可靠性。

10.一种图像处理方法，其包含：

在在相互不同的水平位置上描绘同一被摄物的标准图像和参考图像中，将构成标准图像的标准像素与构成参考图像的像素当中，处在与标准像素相同的高度位置上的第一参考像素和处在与第一参考像素不同的高度位置上的第二参考像素相比较；以及

根据比较结果检测标准像素的水平视差。

11.一种使计算机执行如下水平视差检测功能的程序：

根据比较结果检测标准像素的水平视差。