CN107004264B - 增加针对具有对角布局的相机图像的整数视差精度的方法和系统 - Google Patents

Abstract

公开了一种增加针对具有对角布局的相机图像的整数视差精度的系统、物品和方法。该方法包括使用每个潜在视差点附近的邻近（或相邻）网格点的图像数据来确定针对视差的最佳网格位置和值。

Description

增加针对具有对角布局的相机图像的整数视差精度的方法和 系统

背景技术

可以提供例如可以在平板计算机或智能电话上提供的相机阵列以捕获除了来自不同角度之外的相同场景的多个图像。然后可以将这些图像用于生成3D空间或深度图，并准确地将场景中的物体定位到3D空间中。这些相机阵列中的一些具有将相机相对于每个而布置在对角位置的布局，使得来自相机的整流图像在相机阵列中的相机对之间的匹配点之间形成对角极线。

通过处理来自相机阵列的多个图像，可以针对许多不同的应用计算像素视差。视差是从一个图像到另一个图像的相同3D点的像素位置差异。视差可用于诸如3D深度提取、重新聚焦、测量、层效应、视图插值等应用。将视差值保持为整数值是方便的，所述整数值可以与像素网格中的像素数目相对应以关联距离以及针对多个应用和针对处理效率。然而，为了确定沿着对角极线搜索针对视差值的点的对应（和因此的视差），要沿着对角的线测量视差。在这种情况下，对角整数视差的x和y分量不是整数，并且因此不对应于像素网格上的精确像素位置。通过提供整数x和y值和舍入到最近的像素位置通常会导致没有视差值的沿着极线的一些像素点（并且进而导致由该点表示的视差长度），以及沿着极线的具有两个不同视差位置的其它点值。这导致一些图像点的不准确视差，这会导致场景中的对象的不精确3D深度测量或其它可见伪像。

附图说明

本文所描述的材料以示例的方式而不是以限制的方式在附图中图示出。为了说明的简单和清楚，图中所图示出的元件不必需按比例进行绘制。例如，为了清楚起见，可以相对于其它元件来扩大某些元件的尺度。此外，在认为适当的地方，参考标记在附图之间重复以用于指示相应的或类似的元件。在附图中：

图1是具有对角极线的图像的像素网格的示意图；

图2是实际视差值与舍入视差值的图；

图3是增加针对具有对角布局的多个图像的整数视差精度的方法的流程图。

图4是增加针对具有对角布局的多个图像的整数视差精度的方法的另一流程图；

图5是示出相机阵列的相机的对角布置的示意图；

图6是具有视差点的网格布置的一部分的示意图，其示出了用于本文所述的增加针对具有对角布局的多个图像的整数视差精度的方法的双线性插值；

图7是在不使用本文所述的增加针对具有对角布局的相机阵列的整数视差精度的方法的情况下使用简单的舍入来利用相机阵列捕获的图片；

图8是使用本文所述的增加针对具有对角布局的相机阵列的整数视差精度的方法来利用相机阵列捕获的图片；

图9是示出在操作中的增加针对具有对角布局的相机阵列的整数视差精度的方法的示意图。

图10是示例系统的图示图；

图11是另一示例系统的示意图；和

图12图示了根据本公开的至少一些实现全部布置的另一示例设备。

具体实施方式

现在参考附图对一个或多个实现进行描述。当讨论特定配置和布置时，应当理解，这仅仅出于说明性目的而执行。在不脱离本说明书的精神和范围的情况下，相关领域技术人员将会认识到可以采用其它配置和布置。对相关领域技术人员来说显而易见的是，也可以将本文所描述的技术和/或布置用于除本文所描述之外的各种其它系统和应用。

尽管在下文的说明书中阐述了可以显现在例如诸如片上系统（SoC）架构之类的架构中的各种实现，但是本文所描述的技术和/或布置的实现并不受限于特定架构和/或计算系统，并且可以由任何架构和/或计算系统出于类似的目的来实现。例如，采用诸如多个集成电路（IC）芯片和/或封装之类的各种架构，和/或诸如成像设备、数码相机、智能手机、网络摄影机、视频游戏面板或控制台、机顶盒、具有多个相机的平板计算机等等的各种计算设备和/或消费电子（CE）设备，可以实现本文所描述的技术和/或布置。此外，尽管下文的说明书可以阐述诸如逻辑实现、类型和系统组件的相互关系、逻辑划分/集成选择等等的大量的特定细节，但是在没有这些特定细节的情况下，也可以实施所要求保护的主题。在其它实例中，为了不使本文所公开的材料难以理解，诸如例如控制结构和全部软件指令序列之类的某种材料可以不详细示出。可以将本文所公开的材料实现在硬件、固件、软件或其任意组合中。

本文所公开的材料也可以被实现为存储在机器可读介质或存储器上的指令，其可以由一个或多个处理器读取和执行。机器可读介质可以包括以机器（例如，计算设备）可读的形式存储或传送信息的任意介质和/或机制。例如，机器可读介质可以包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘储存介质；光储存介质；闪速存储器设备；电学的、光学的、声学的或其它形式的传播信号（例如，载波、红外信号、数字信号等等）以及其它。在另一形式中，诸如非暂时性计算机可读介质之类的非暂时性物品，可以与上面提及的示例中的任何示例或其它示例一起使用，除了其本身不包括暂时性信号的示例。其包括除了信号本身之外的、可以以“暂时”方式临时保持数据的那些元件，诸如RAM等。

在本说明书中对“一个实现”、“实现”、“示例实现”等的引用指示所描述的实现可以包括特定特征、结构或特性，但是可能不必每个实现都包括该特定特征、结构或特性。而且，这样的短语不必指代相同的实现。此外，无论本文是否明确描述，当结合实现来描述特定特征、结构或特性时，认为结合其它实现来影响这样的特征、结构或特性在本领域技术人员的知识范围内。

增加针对具有对角布局的相机图像的整数视差精度的系统、物品和方法。

如上所提及，视差可以是许多深度相关应用的基本组分，仅举几个示例诸如3D深度提取、重新聚焦、测量、层效果、视图插值。视差是在相同对应点的位置中从图像到图像的差异。传统上以整数像素计数值测量针对图像上的每个点的视差。同样如所提及，相机阵列中的相机的对角空间布局在沿着延伸图像到图像的对角极线对点进行匹配时产生技术困难，其中图像对应于对角相机对，因为沿着对角极线的像素空间的整数计数不一定落在形成图像的像素的典型水平行和垂直列布局上的精确像素位置上。

参考图1以解释这一困难，在像素网格100上示出了针对沿着对角极线102的整数视差搜索的点。网格100表示图像像素坐标系。如本文所使用的，真正极线被称为沿着两个相机的相机到相机中心的线而存在或者存在于两个相机的相机到相机中心的线上。因此，对于被转换为公共平面的整流图像，作为接合相机中心的线的真正极线可以由形成在两个图像上的投影相机中心的线来表示。此外，与整流图像上的对应像素或点匹配的线应与真正极线平行。因此，这些匹配线可以被称为局部或匹配极线或简单地被称为极线，而不是陈述为与真正极线平行的线。因此，取决于上下文，本文中对极线的任何提及可以是真正或局部极线。这里相关的是，当以对角布置放置两个相机以及继而它们的整流图像时，从一个图像上的点到另一个图像上的匹配或对应点的极线是对应于图像的布局的对角。因此，沿着对角极线执行针对匹配点的搜索。

图像网格100上的每个网格角（或线的每个交点）对应于可以在另一图像上具有对应匹配的像素和点。视差算法通过将一个图像上的点（要被匹配的点）与沿着从0（其是在图像上与要被匹配的点相同的相应位置）开始直到最大值（这里为点20）的另一个图像上的极线的这些点的范围中的每个潜在匹配点进行比较，来找到两个图像之间的像素或点对应。将两个对应像素之间的不同点（1到20）的偏移值称为针对该像素的视差值。例如，对于一个图像上的给定像素（x，y），执行沿着另一图像中的极线102的搜索，以找到在d ={0,1,2，...，maxD}的范围内的匹配像素（x+dx，y+dy）,其中，在这个示例中maxD为20，其中d沿着极线对角地延伸，并且其中d被限制为整数值——除此外视差值d为如下：

（1）。

为了将d保持为整数，这导致如网格100上所示的与像素位置不匹配的dx和dy的非整数值，无论何处星号（*）之一都没有准确地落在网格交叉点上。

换句话说，当两个相机对角对齐时，搜索路径沿着对角极线。沿着极线102的已编号星号表示对角整数视差d的准确位置和值，其为：d =沿着对角极线102的0,1,2，....。因此，通过一种形式，d是与形成像素网格100的水平和垂直线的那个相同的像素到像素网格距离的测量。由于许多点不位于针对特定整数视差d的图像像素位置上（不在网格线交叉点上），因此在图像中没有这样的整数像素对应（x+dx，y+dy）。相比之下，传统立体视觉处理垂直或水平对齐的图像，即d=dx或d=dy。因此，在这种传统的系统中，整数视差总是具有对应的整数图像像素，并且没有解决对角匹配的问题。

参考图2，克服这些问题的一个尝试是提供一种整数视差算法，以使用简单的舍入到最接近的整数像素的方法来确定沿着对角极线的视差。这有一个显著的缺点，因为它跳过了某些视差值。具体来说，图形200提供具有从沿着对角极线获得的整数视差值d的X轴，并且其值范围为0至30。该图的y轴是使用简单的舍入方程计算出的视差dq值。因此，将整数值视差d用来确定非整数dx和dy分量。然后将dx和dy分量舍入到最接近的整数，并使用上述方程（1）与舍入的分量（dqx，dqy）来计算新的舍入整数视差dq。如图形200中所示，对于d=10和11，两者都舍入到相同的dq=10；并且对于d=19和20，两者都舍入到相同的dq=19。因此，这种量化类型问题的结果是，将在到30的潜在视差值的范围中提供11和20的视差值的潜在匹配点从作为潜在视差输出中缺失，这将导致不精确度，这在使用视差的应用的计算中可能是显著的，作为一些示例，如上所提及的，其可能导致图像中的不精确3D测量或显著的伪像。

为了解决这些问题，提供了用于增加针对具有相机对的至少一个对角布局的相机的整数视差精度的本方法。该方法包括使用接近每个潜在视差点的邻近（或相邻）网格点的图像数据来确定针对该视差的最佳网格位置和值。因此，通过一个示例形式，该方法使用特征成本双线性插值中的相邻点来解决图像中没有对应的整数像素的问题，这在下面详细解释。基本而言，针对参考图像上沿着对角极线的每个点（x，y）选择整数视差d，并且使用在与一些相邻点相关联的特征差异值中进行因子运算（factor）的方程来提供图像特征的最小误差（或差异）。如下面所解释的，可以取决于相邻点离与极线上的潜在视差点相关联的非整数视差点有多靠近来对特征差异值进行加权。

参考图3，提供了用于增加针对具有对角布局的相机图像的整数视差精度的方法的过程300。在所图示的实现中，过程300可以包括均匀编号的一个或多个操作、功能或动作302至306。通过非限制性示例的方式，在本文中可以参考图10的1000和图5的示例图像捕获阵列500来分别地并且相关地描述过程300。

过程300可以包括“获得具有包括第一图像和第二图像的至少一个对角布置的图像对的相同场景的多个图像的图像数据”302。具体而言，可以从如下相机阵列捕获图像，所述相机阵列具有至少两个相机相对于彼此定位在对角处使得形成如下所解释的对角极线的布局。对应于来自阵列的相机的图像彼此形成对角关系。

过程300可以包括“确定与第一图像上的第一点相对应的在第二图像上的多个相应潜在视差点，并且其中将每个潜在视差点从与第一点在第一图像上的位置相对应的在第二图像上的位置远离地移位整数视差值的范围之一，其中沿着从第一点和第二图像上的位置延伸的对角极线来安置整数视差值的范围”304。具体而言，极线从第一图像上的第一个点延伸并通过第二图像上相同的对应位置，以找到针对第一个点并沿着第二图像上的极线的匹配点和视差。潜在视差点或值可以从对应位置处的0到类似于图1或图5所示的最大数量进行编号或测量。

过程300可以包括“取决于通过使用与各个潜在视差点附近的多个相邻点相关联的特征值以及通过使用与第一点相关联的特征值所确定的各个潜在视差点的匹配成本，确定潜在视差点的哪个视差点对应于第一点”306。如下面所解释的，针对在极线上的各个或每个潜在视差点确定匹配。匹配成本至少部分地基于将第一图像上的第一点附近的特征值与潜在视差点的多个相邻点附近的特征值之间的差异相加。特征值可以是像素相关的值，举几个例子诸如RGB中的颜色、灰度或梯度值。特征差异值可以针对每个像素而形成，并且还可以通过比较像素周围的支持区域以及通过诸如绝对差异（SAD）之和（通过一个示例）的比较技术来确定。然后可以使用公式来取决于相邻值有多靠近潜在视差点来对特征差异值进行加权，并且通过一个示例，使用双线性插值来确定加权。加权特征差异值的总和然后是匹配成本。通过一个示例，选择具有最低匹配成本（或误差值）的潜在视差点作为相对于第一点的正确视差和对应点。

参考图4，提供了用于增加针对具有对角布局的相机图像的整数视差精度的方法的过程400。在所图示的实现中，过程400可以包括均匀编号的一个或多个操作、功能或动作402至420。通过非限制性示例的方式，在本文中可以参考图10的1000和图5的示例图像捕获阵列500来分别地以及相关地描述处理400。

在参考图5时，过程400可以包括“获得具有至少一个对角图像对的多个相机图像的图像数据”402。因此，示例相机阵列500通过形式具有由相应相机形成的图像所表示的至少一个（这里为两个）对角相机对。因此，相机C0、C1和C2分别由相机形成的图像502、504、506表示。对于每个相机及其图像，从C2到C0或者C2到C1以及从水平开始的角度

可以是不同的。可以针对除了来自不同视图之外的相同场景或对象的且由相机阵列捕获的多个图像提供图像数据。相机阵列可以在单个设备上或由分开的设备形成。可以同时捕获图像，或者可以在不移动的场景的时间内拍摄图像。因此，应当理解，除了针对每个图片将相机移动到关于场景的精确的已知位置之外，本文的方法可以与拍摄相同场景的多个图片的单个相机一起来使用。

该操作还可以包括获得包括针对每个图像的特征的图像数据，包括诸如颜色、灰度、亮度（或梯度）、普查和局部二值模式（LBP）等等之类的特征数据。所选择的特征中的至少一个可以用于确定匹配成本，如下面所解释的。

此外，该操作可以包括获得整流的图像。这可以包括收集来自不同视角或角度的以及相同场景的图像集合（不管是否是同时捕获的），并且然后将集合中的所有图像转换成相同的公共平面。这使得通过在平面中观察图像的同时使用局部极线来使两个不同图像上的对应点能够匹配。

过程400然后可以包括“取决于视差来确定潜在的像素对”404。例如，对于每对相机Cr和Ci（这里分别被选择为由图像504和506来表示），可以在图像Cr上选择像素（x，y）（或第一点）508以确定在另一图像Ci上的相应匹配点和视差。对角极线510可以从第一点508延伸并通过图像Ci上的相同位置（x，y）512。然后将第一点508与图像506中和极线510上的潜在视差点的范围514进行比较（例如以形成潜在像素对）。用于与第一点进行比较的潜在视差点的范围514包括沿着极线510并以Ci中的像素（x，y）512开始并且然后以0,1,2，...，maxD的整数像素偏移（或视差）d的N （N=maxD+1）个像素。对于每个像素配对，如下面所解释的，计算匹配每一个两像素对的特征或匹配成本，并且可以将其用于确定哪一对被设置为用于进一步应用的对应对，也如下面所解释的。通过一种形式，选择具有最低匹配成本的对。

过程400然后可以包括“确定针对每个潜在像素对的匹配成本”406。该操作406可以包括“获得潜在视差点的非整数偏移”408。具体而言，对于具有对角相机布局（或至少一个对角相机对）的相机阵列，如上所提及，像素偏移沿着对角极线。对于每个对角像素偏移d（作为整数值），该过程获得在x和y轴上的（非整数）分量像素偏移为：

其中dx和dy通常是浮点值，其可以映射到整数，因为像素坐标是整数，并且其中角度

（图5）是对角极线与水平线以及从相机到相机的角度。因此，包括偏移的潜在视差点的非整数坐标为（x+dx，y+dy）。应当注意，对于该示例，从（x，y）512处的对应的第二图像Ci点或位置测量（dx，dy），并且（x，y）即使d改变也不改变。为了获得针对dx和dy的舍入整数值，可以使用舍入到最接近的整数像素的简单方法，使得：

其是下面使用的舍入方程的类型，并且然后基于舍入的水平和垂直像素值并沿着极线的精确对应的（非整数）视差像素偏移为：

参考图6，确定潜在视差点的匹配成本的一种方法是比较潜在视差点附近的相邻点的特征值和第一点的特征值。因此，过程400可以包括“获得相邻点的舍入视差点分量值”410。通过一个示例，使用四个最接近的相邻点（或像素位置或网格交叉点），并且至少大致定位在图6上表示为离（x，y）为（dx，dy）的非整数视差点（x+dx，y+dy）的周围，或者四个相邻点形成包括非整数视差点（x+dx，y+dy）的正方形。这形成相邻点的坐标以及针对被用来将加权应用于特征值差异的区域的坐标的底层（最低可能值）和天花板（“天花板”为最高可能值），如下面所解释的那样。因此，floor（）和ceil（）是如上所提及的舍入操作，以及如下所示的到下一个较低或较高的水平或垂直舍入网格或像素值：

其中每个值dqix和dqiy（其中如上所记载的，i=1至4）可以是从非整数视差点（dx，dy）的x和y方向上的下一个偶数像素位置，如图6上所示，其中w和h分别是从左上相邻像素（dq1x，dq1y）到（dx，dy）的水平和垂直距离。当然，如果期望的话，可以将其可替代地设置为匹配子像素级网格，以建立某些子像素分数值的计数。其它替代方案包括使用或多或少的相邻点。

通过一种形式，过程400然后可以包括“使用相邻点来生成误差映射”412。误差映射通过在接近第一点的特征值和接近非整数视差点的每个相邻点的特征值之间的差异中进行因子运算来保持针对每个潜在视差点（或每个潜在像素对）的匹配成本或误差，并且然后取决于相邻值有多靠近视差点（dx，dy）来对这些值进行加权。这可以通过使用双线性插值方程方法来执行，以通过使用来自作为整数像素位置的相邻点的特征成本来计算针对视差值的匹配成本，如下面所解释的那样。下面的方程17形成用于将针对每个视差d和d的（dx，dy）的匹配成本确定为双线性插值的误差映射或关系：

（17）

其中Ir和Ii分别指Cr和Ci的图像特征的支持区域。如本文所提及的，对于一些示例，图像特征可以是指像素的颜色、灰度或梯度值。

是在应用加权之前的特征差异值，并指代局部特征成本。因此，构建误差映射可以包括至少三个操作：（1）确定针对比较要被包括的第一点和每个相邻点的特征值，（2）实际执行比较或减法，以及（3）应用加权因子。因此，过程400可以包括“确定针对第一点和相邻点的特征值”414。通过一个示例，支持区域Ir（x，y）可以是包括相机Cr的图像上的第一点（x，y）的某一模式并且可以是固定面积（例如可以通过实验确定的和/或特别通过某些参数确定的s × s个像素）。可替代地，可以通过首先在四个方向（左、右、上、下，并且可替代地可以包括对角）上延伸每个像素（x，y）来确定相机Cr的图像上的支持区域，直到该模式击中一个像素，针对该像素而言，针对所选特征的特征值例如颜色、梯度或灰度超过阈值差异或不再符合包含在支持区域中的标准。换句话说，将针对所选像素的特征值与针对每个方向上的每个像素的特征值进行比较，直到差异超过阈值（或不符合标准），使得支持区域具有受控或有限的某个特征范围。因此，通过针对灰度范围为0到255的一个示例，标准可以是：例如该值与第一个点值例如不能改变40。可以针对各个相邻点类似地设置支持区域。通过另一替代方案，可以使用在相邻点处的单个特征值或支持区域的某些其它定义。通过更多的替代方案，只有是最靠近非整数视差点的第n个相邻点或者位于最接近非整数视差点的第n个相邻点内的相邻点形成用于与第一点的支持区域进行比较的支持区域，但是这当然在与双线性方程（17）不同的单个点或其它数量的点处使用误差。用于获得特征并建立针对视差点的支持区域的更多或其它解释或示例可以由2014年11月14日提交的并在_____公布的美国专利申请No.14/542,040提供，出于全部目的其被并入本文。

然后，过程400可以包括“确定针对每个相邻点的特征成本值”416。因此，一旦设置了相机Cr图像的图像上的支持区域Ir，则Cr图像上的支持区域Ir针对每个相邻点从支持区域Ii的相同重叠面积（相同模式中的相同像素位置点）被差分（或者计算SAD）。然后将特征成本值（也称为特征差异值）插入方程（17）中，并且可以应用方程（17）的双线性加权因子。

因此，过程400然后包括“确定针对各个潜在视差点的匹配成本”418。这包括取决于相应的相邻点有多靠近视差点（dx，dy）而对特征差异值执行双线性加权因子，并且具体来说，点越靠近，则该较靠近的点的特征差异值的部分越大，其用于确定最终匹配成本或误差。在图6的示例中，点（dq1x，dq1y）将其特征成本的最大部分包括在总匹配成本中，因为它是与（dx，dy）最靠近的相邻点。因此，结果是对于潜在视差点的单个匹配成本或误差值E（d），其形成了针对沿着极线的每个潜在视差点具有一个误差值的误差值的误差映射。

应当注意，可以使用双线性插值技术以外的其它技术，诸如双三次插值。

过程400可以包括“基于误差映射来确定最终整数视差值”418。最后，通过找到误差映射中的最小值d来计算针对参考相机Cr中沿着基线的给定像素（x，y）的视差值。

（18）。

换句话说，对于Cr上的每个点（x，y），d对角整数值沿着对角极线从0到最大值D进行测试，并且选择具有最低E（d）的值作为最终的视差或偏移。通过基于相邻点的匹配成本来选择视差，该过程有效避免了跳过潜在整数视差值的问题，其改善了视差输出的精度。所计算的视差然后可以用于进一步的应用。

参见图7-图8，图像700提供了使用简单舍入的常规系统的视差结果的示例，并且将图像中描绘的板704和人702的深度层合并到背景深度层中。通过使用如本文所描述的相邻点，板804和人802的深度层可以与图像800上的背景深度层区分开。

参考图9，过程900图示了根据本公开的至少一些实现执行对角视差精度计算的采样图像处理系统1000的操作。更详细而言，在所图示的形式中，过程900可以包括均匀编号的一个或多个动作902到914所图示的一个或多个操作、功能或动作。通过非限制性示例的方式，本文将参照图10来描述过程900。具体而言，系统1000包括逻辑单元或模块1004。逻辑模块1004可以包括将相机图像转换为单个公共平面的整流单元1012和确定在来自相机——并且在某些形式中为相机阵列中的相机——的一个图像上的点到另一图像上的点之间的对应并产生视差值的点对应单元1014。点对应单元1014可以具有对角视差单元1016。对角视差单元1016可以具有视差舍入单元1018、误差映射单元1019和视差匹配成本单元1021。系统的操作可以如下进行。

过程900可以包括“获得包括像素位置、极线角度、视差整数d值和特征值的图像数据”902，并且如上面所解释的，可以沿着第二图像上的对角极线针对每个潜在视差点测试整数d值到最大D值的范围，以便找到也在极线上与第一图像上的点的最佳匹配。特征值是如上所解释的图像的特征，诸如颜色、灰度或梯度等。

过程900可以包括“使用d值来确定dx和dy视差点分量值”904，并且如上面所解释的，这些值可以是非整数值，其是对应于第一图像上的第一点（x，y）的并且从第二图像上的点（x，y）的非整数偏移。通过一个示例，对于每个潜在视差点，dx和dy由上述方程（2）和（3）确定。

过程900可以包括“将视差点周围的最靠近的整个像素位置坐标确定为相邻点”906。通过一种形式，这包括在视差点（x+dx，y+dy）周围的左和右、以及上和下的下一个像素位置（或最近邻居），或者简单地为（dx，dy），如图6上所示，并且通过一个示例，通过舍入方程（7）至（14）计算出。这个操作还可以包括从上述方程（15）和（16）计算w和h值。

过程900可以包括“确定针对每个相邻点的支持区域的特征值”908，并且如上面所解释的，在一定范围内具有相似特征值特性（诸如颜色、灰度或梯度值）或符合其它标准的每个或各个相邻点附近的特定区域，可以被视为支持区域。将与第一图像上的第一点上使用的（像素位置中的）支持区域重叠的该相邻点支持区域的部分设置为用于确定针对该相邻点的特征成本。

过程900可以包括“确定针对每个相邻点的特征成本值”910，并且通过使用SAD或其它等效计算作为一个示例，其区分第一图像上的点的支持区域的重叠部分与每个相邻点的支持区域的每个重叠部分。

过程900可以包括“使用在多个相邻点处的特征成本值来生成误差映射”912，并且如上面通过在双线性插值方程中使用示例方程（17）所解释的，所述双线性插值方程组合了一个潜在视差点的邻居的所有特征成本。通过一个示例，方程（17）是加权双线性插值方程，其在相邻点与非整数视差（dx，dy）点更靠近时提供更大的加权。这提供了与潜在视差点相关联的单个匹配成本总和，并且在一种形式中，每个潜在视差点将具有其自己的匹配成本或误差值以形成错误映射。

然后，过程900可以包括“使用误差映射来确定最终视差”914，并且通过使用示例方程（18）。该方程将最终视差点设置为来自误差映射的具有最低匹配成本（或误差）的潜在视差点。此后，所得到的最终视差可以用于如上所提及的进一步应用。

另外，可以响应于由一个或多个计算机程序产品所提供的指令来进行图3、图4和图9的操作中的任意一个或多个操作。这样的程序产品可以包括提供指令的信号承载介质，当所述指令由诸如处理器执行时可以提供本文所描述的功能。计算机程序产品可以以任意形式的一种或多种机器可读介质来提供。因此，例如，包括一个或多个处理器内核的处理器可以响应于由一个或多个计算机或机器可读介质传达给处理器的程序代码和/或指令或指令集来进行本文的示例过程的操作中的一个或多个操作。通常，机器可读介质可以传达以程序代码和/或指令或指令集形式的软件，其可以使得设备和/或系统中的任何设备和/或系统执行如本文所描述的内容。机器或计算机可读介质可以是诸如非暂时性计算机可读介质之类的非暂时性物品或介质，并且可以与上述示例中的任何示例或其它示例一起使用，除了其本身不包括暂时性信号的示例。除了信号本身，其包括可以在诸如RAM等以“暂时性”方式临时地保存数据的那些元件。

如在本文所描述的任意实现中所使用的，术语“模块”指的是被配置为提供本文所描述的功能的软件逻辑、固件逻辑和/或硬件逻辑的任意组合。软件可以被体现为软件包、代码和/或指令集或指令，以及如本文所描述的任意实现中所使用的“硬件”可以包括例如硬连线的电路、可编程电路、状态机电路和/或用于存储由可编程电路执行的指令的固件，单独地或以任意组合的形式。模块可以全体地或个别地被体现为形成较大系统的部分的电路，例如，集成电路（IC）、片上系统（SoC）等。例如，模块可以被体现在逻辑电路中以用于经由本文所讨论的编码系统的软件、固件或硬件的实现。

如在本文所描述的任意实现中所使用的，术语“逻辑单元”指的是被配置为提供本文所描述的功能的固件逻辑和/或硬件逻辑的任意组合。逻辑单元可以全体地或个别地被体现为形成较大系统的部分的电路，例如，集成电路（IC）、片上系统（SoC）等。例如，逻辑单元可以被体现在逻辑电路中以用于本文所讨论的编码系统的实现固件或硬件。本领域普通技术人员将会意识到，硬件和/或固件所执行的操作可以可替换地经由软件来实现，其可以被体现为软件包、代码和/或指令集或指令，并且还将意识到逻辑单元还可以采用软件的一部分来实现其功能。

如在本文所描述的任意实现中所使用的，术语“组件”可以指的是模块或逻辑单元，如上文描述的这些术语。因此，术语“组件”可以指的是被配置为提供本文所描述的功能的软件逻辑、固件逻辑和/或硬件逻辑的任意组合。例如，本领域普通技术人员将会意识到由硬件和/或固件所执行的操作可以替代地经由软件模块来实现，其可以被体现为软件包、代码和/或指令集，并且还将意识到逻辑单元还可以采用软件的一部分来实现其功能。

参考图10，根据本公开内容的至少一些实现布置示例图像处理系统1000。在各种实现中，示例图像处理系统1000可以具有成像设备1002来形成或接收捕获到的图像数据。这可以以各种方式来实现。因此，以一种形式，图像处理系统1000可以是一个或多个数码相机或其它图像捕获设备，并且成像设备1002在该情况中可以是相机硬件和相机传感器软件、模块或组件1012。在其它示例中，成像处理系统1000可以具有：包括一个或多个相机或者可以是一个或多个相机的成像设备1002，以及逻辑模块1004可以远程地与成像设备1002通信或者以其它方式可以通信地耦合到成像设备1002以用于对图像数据进一步处理。

因此，图像处理设备1000可以是诸如智能电话、平板计算机、膝上型计算机或其它移动设备的多相机设备上的单个相机。否则，设备1000可以是具有多个相机的平板计算机或其它设备，其中处理发生在多个之一处或发生在与相机通信的单独处理位置处--无论该平板计算机或其它设备是开还是关以及在移动设备处是否执行处理。该设备还可以是例如诸如智能手表、运动腕带和/或智能眼镜之类的可穿戴设备。

在任一情况下，这样的技术可以包括诸如数码相机系统的相机、专用相机设备或成像手机或平板计算机，无论是静态图片相机或视频相机或二者的某种组合。因此，以一种形式，成像设备1002可以包括相机硬件和包括一个或多个传感器以及自动聚焦、缩放、光圈、ND-滤波器、自动曝光、闪光灯和致动器控件的光学器件。这些控件可以是用于操作传感器的传感器模块或组件1006的部分。传感器组件1006可以是成像设备1002的部分，或者可以是逻辑模块1004的一部分或者二者都是。这样的传感器组件能够用于为取景器生成图像以及拍摄静态图片或视频。成像设备1002还可以具有透镜、具有RGB拜耳色彩滤波器的图像传感器、模拟放大器和A/D转换器、将入射光转换为数字信号的其它组件等和/或其组合。在本文中，数字信号还可以称为原始图像数据。

其它形式包括相机传感器类型成像设备等（例如，网络摄影机或网络摄影机传感器或其它补充的金属氧化物半导体类型的图像传感器（CMOS）），不使用红绿蓝（RGB）深度相机和/或对谁在讲话进行定位的麦克风阵列。相机传感器还可以支持其它类型的电子快门，例如除卷帘快门之外或代替卷帘快门的全局快门以及很多其它快门类型。在其它示例中，除了相机传感器之外或者替代相机传感器，还可以使用RGB深度相机和/或麦克风阵列。在一些示例中，可以提供具有人眼跟踪相机的成像设备1002。

成像设备1002还可以具有透镜致动器1008，透镜致动器1008具有透镜和透镜驱动器或驱动器逻辑，所述驱动器逻辑接收用于移动透镜的命令并且施加电流来移动透镜。可选地，如果需要的话，成像设备1002还可以具有自动聚焦控件1010和透镜位置传感器1011来确认透镜位置。

在所图示的示例中，逻辑模块1004可以包括整流单元1012和点对应单元1014，其确定来自相机阵列中的相机的一个图像上的点与另一图像上的点之间的对应。点对应单元1014可以具有对角视差单元1016。对角视差单元1016可以具有视差舍入单元1018、误差映射单元1019和视差匹配成本单元1021。

逻辑模块1004的单元的任何组合可以由（一个或多个）处理器1020操作，或者甚至完全或部分地位于（一个或多个）处理器1020处，并且其可以包括ISP 1022。逻辑模块1004可以通信地耦合到成像设备1002的组件，以便接收包括本文所描述的特征点数据的原始图像数据。可选地，特征点数据可以由与原始图像数据流分开的数据流提供。在这些情况下，假设逻辑模块1004被认为与成像设备分离。这不必须是这样的，并且逻辑模块也很好可以被认为是成像设备的一部分。

图像处理系统1000可以具有一个或多个处理器1020，处理器1020可以包括诸如英特尔凌动（Intel Atom）之类的专用的图像信号处理器（ISP）1022、存储器库（memorystore）1024、用于提供图像1030的一个或多个显示器1028、编码器1032和天线1034，其中内存存储器1024可以保持或可以不保持本文所提及的视差数据。在一个示例实现中，图像处理系统1000可以具有显示器1028、通信地耦合到显示器的至少一个处理器1020、通信地耦合到处理器的至少一个存储器1024。可以提供编码器1032和天线1034来压缩被修改的图像数据，以用于向可以显示或存储图像的其它设备的传输。将理解的是，图像处理系统1000还可以包括解码器（或者编码器1032可以包括解码器）来接收和解码图像数据用于由系统1000进行处理。另外，经处理的图像1030可以被显示在显示器1028上，或者被存储在存储器1024中。如所图示，这些组件中的任意组件可以能够互相通信和/或能够与逻辑模块1004的部分和/或成像设备1002进行通信。因此，处理器1020可以通信地耦合到图像设备1002和逻辑模块1004二者以用于操作这些组件。根据一种方法，如图10中所示，尽管图像处理系统1000可以包括与特定组件或模块相关联的方框或动作的一个特定集合，但是这些方框或动作可以与和这里所图示出的特定组件或模块相比不同的组件或模块相关联。

参考图11，根据本公开内容的示例系统1100对本文所描述的图像处理系统的一个或多个方面进行操作。根据下文所描述的系统组件的本质将理解的是，这样的组件可以与上文所描述的图像处理系统的某个部分或某些部分相关联，或者可以使用这样的组件来对上文所描述的图像处理系统的某个部分或某些部分进行操作。在各种实现中，系统1100可以是介质系统--尽管系统1100不限于本上下文。例如，可以将系统1100并入到数码静态相机、数字视频相机、诸如成像手机之类的具有相机或视频功能的移动设备、网络摄像机、个人计算机（PC）、膝上型计算机、超级-膝上型计算机、具有多个相机的平板计算机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备（例如，智能手机、智能平板或智能电视）、移动互联网设备（MID）、消息传送设备、数据通信设备等等——只要该设备具有相机阵列或者是相机阵列的一部分，或者以其他方式可以用于拍摄多张图片以一起进行分析。

在各种实现中，系统1100包括耦合到显示器1120的平台1102。平台1102可以接收来自诸如（一个或多个）内容服务设备1130或（一个或多个）内容递送设备1140之类的内容设备，或其它类似的内容源的内容。包括一个或多个导航特征的导航控制器1150可以用于与诸如平台1102和/或显示器1120进行交互。下文将更加详细地描述这些组件中的每个组件。

在各种实现中，平台1102可以包括芯片组1105、处理器1110、存储器1112、储存器1114、图形子系统1115、应用1116和/或无线电1118的任意组合。芯片组1105可以提供在处理器1110、存储器1112、储存器1114、图形子系统1115、应用1116和/或无线电1118之间的互通。例如，芯片组1105可以包括储存适配器（未描绘），其能够提供与储存器1114的互通。

处理器1110可以被实现为复杂指令集计算机（CISC）或者精简指令集计算机（RISC）处理器；x86指令集兼容的处理器、多核或任何其它微处理器或中央处理单元（CPU）。在各种实现中，处理器1110可以是（一个或多个）双核处理器、（一个或多个）双核移动处理器等等。

存储器1112可以被实现为易失性存储器设备，例如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）或静态RAM（SRAM）。

储存器1114可以被实现为非易失性储存设备，例如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部储存设备、附加储存设备、闪速存储器、电池备份SDRAM（同步DRAM）和/或网络可访问的储存设备。在各种实现中，例如，当包括多个硬件驱动器时，储存器1114可以包括用于增加针对有价值的数字介质储存性能的增强保护的技术。

图形子系统1115可以执行对诸如静态或视频之类的图像的处理以用于显示以及执行上述的图像处理。图形子系统1115例如可以是图形处理单元（GPU）或视觉处理单元（VPU）。模拟或数字接口可以用于通信地耦合图形子系统1115和显示器1120。例如，该接口可以是高清晰度多介质接口、显示器端口、无线HDMI和/或兼容无线HD的技术的任一个。图形子系统1115可以被集成到处理器1110或芯片组1105中。在一些实现中，图形子系统1115可以是通信地耦合到芯片组1105的独立卡。

本文所描述的图形和/或视频处理技术可以实现在各种硬件架构中。例如，图形和/或视频功能可以集成在芯片组内。可替代地，可以使用离散的图形和/或视频处理器。还作为另一实现，图形和/或视频功能可以由通用处理器来提供，其中通用处理器包括多核处理器。在另外的实现中，功能可以在消费者电子设备中实现。

无线电1118可以包括能够使用各种适当的无线通信技术来传送和接收信号的一个或多个无线电。这样的技术可以涉及跨越一个或多个无线网络的通信。示例无线网络包括（但不限于）无线局域网（WLAN）、无线个域网（WPAN）、无线城域网（WMAN）、蜂窝网络和卫星网络。在跨越这样的网络进行通信时，无线电1118可以根据任意版本的一个或多个可适用的标准来进行操作。

在各种实现中，显示器1120可以包括任何电视机类型监控器或显示器。显示器1120可以包括例如计算机显示屏幕、触摸屏显示器、视频监控器、类似电视机的设备和/或电视机。显示器1120可以是数字的和/或模拟的。在各种实现中，显示器1120可以是全息显示器。此外，显示器1120可以是可以接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像和/或对象。例如，这样的投影可以是针对移动增强现实（MAR）应用的视觉覆盖。在一个或多个软件应用1116的控制之下，平台1102可以在显示器1120上显示用户接口1122。

在各种实现中，（一个或多个）内容服务设备1130可以由任何国家的、国际的和/或独立的服务所主控，并且因此例如经由互联网可访问平台1102。（一个或多个）内容服务设备1130可以耦合到平台1102和/或耦合到显示器1120。平台1102和/或（一个或多个）内容服务设备1130可以耦合到网络1160以传递（例如，发送和/或接收）去往和来自网络1160的介质信息。（一个或多个）内容递送设备1140还可以耦合到平台1102和/或显示器1120。

在各种实现中，（一个或多个）内容服务设备1130可以包括有线电视盒、个人计算机、网络、电话、具有互联网能力的能够递送数字信息和/或内容的设备或装置，以及能够直接地或经由网络1160在内容供应商和平台1102和/或显示器1120之间单向地或双向地传递内容的任何其它类似的设备。将意识到的是，可以经由网络1160单向地和/或双向地将内容传递给系统1100中的组件中的任何一个组件和内容供应商，或者可以从系统1100中的组件中的任何一个组件和内容供应商单向地和/或双向地递送内容。内容的示例可以包括任意介质信息，其包括例如视频、音乐、医疗和游戏信息等等。

（一个或多个）内容服务设备1130可以接收诸如有线电视节目之类的内容，包括介质信息、数字信息和/或其它内容。内容供应商的示例可以包括任意有线或卫星电视或无线电或互联网内容供应商。无论如何，所提供的示例不意欲限制根据本公开内容的实现。

在各种实现中，平台1102可以从具有一个或多个导航特征的导航控制器1150接收控制信号。控制器1150的导航特征可以用于例如与用户接口1122进行交互。在实现中，导航控制器1150可以是定点设备，其可以是允许用户输入空间（例如，连续的和多维的）数据到计算机中的计算机硬件组件（具体地，人机接口设备）。诸如图形用户接口（GUI）和电视机和监控器之类的很多系统允许用户使用物理手势来控制和提供数据给计算机或电视机。

控制器1150的导航特征的移动可以通过显示在显示器上的指针、光标、聚焦环或其它视觉指示符的移动而被复制到显示器（例如，显示器1120）上。例如，在软件应用1116的控制之下，位于导航控制器1150上的导航特征例如可以映射到显示在用户接口1122上的虚拟导航特征。在实现中，控制器1150可以不是独立组件，而是可以集成到平台1102和/或显示器1120中。然而，本公开内容不限于本文所示出或描述的元件，或者本公开内容不限于本文所示出或描述的上下文中。

在各种实现中，驱动器（未示出）可以包括使用户能够即刻开启和关闭平台1102的技术，例如，所述平台1102比如是当启动时在初始引导之后具有触摸按钮的电视机。程序逻辑可以允许平台1102使内容流传输到介质适配器或（一个或多个）其它内容服务设备1130或（一个或多个）内容递送设备1140——即使当平台被“关闭”的时候。另外，例如，芯片组1105可以包括针对8.1环绕声音频和/或高清（7.1）环绕声音频的硬件和/或软件支持。驱动器可以包括针对集成的图形平台的图形驱动器。在实现中，图形驱动器可以包括外设组件互联（PCI）快速图形卡。

在各种实现中，在系统1100中所示出的组件中的任意一个或多个组件可以是集成的。例如，平台1102和（一个或多个）内容服务设备1130可以是集成的，或者平台1102和（一个或多个）内容递送设备1140可以是集成的，或者例如平台1102、（一个或多个）内容服务设备1130和（一个或多个）内容递送设备1140可以是集成的。在各种实现中，平台1102和显示器1120可以是集成的单元。例如，显示器1120和（一个或多个）内容服务设备1130可以是集成的，或者显示器1120和（一个或多个）内容递送设备1140可以是集成的。这些示例并不是旨在限制本公开内容。

在各种实现中，系统1100可以被实现为无线系统、有线系统或二者的组合。当系统1100被实现为无线系统时，其可以包括适合用于在无线共享介质上进行通信的组件和接口，诸如一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等等。无线共享介质的示例可以包括无线光谱的部分，诸如RF光谱等。当系统1100被实现为有线系统时，其可以包括适合用于在有线通信介质上进行通信的组件和接口，诸如输入/输出（I/O）适配器、将I/O适配器与相应的有线通信介质连接的物理连接器、网络接口卡（NIC）、磁盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可以包括线、电缆、金属引线、印制电路板（PCB）、底板、开关结构、半导体材料、双绞线、同轴电缆、光纤等等。

平台1102可以建立一个或多个逻辑或物理信道来传递信息。信息可以包括介质信息和控制信息。介质信息可以指表示旨在针对用户的内容的任意数据。内容的示例可以包括例如来自语音对话的数据、视频会议、流视频、电子邮件（“email”）信息、语音邮件信息、字母数字符号、图形、图像、视频、文本等等。来自语音对话的数据可以是例如语音信息、静默时段、背景噪声、舒适噪声、音调等等。控制信息可以指表示旨在针对自动系统的命令、指令或控制字的任意数据。例如，控制信息可以用于通过系统路由介质信息，或者指示节点以预定的方式来处理介质信息。然而，实现不限于图11中所示出或描述的元件，或者实现不限于图11中所示出或描述的上下文中。

参考图11，小的形状因数设备1100是系统900和/或1000可以体现在其中的变化的物理类型或形状因数的一个示例。通过该方法，设备1100可以被实现为具有无线能力和多个相机的移动计算设备。移动计算设备例如可以指具有处理系统和诸如一个或多个电池之类的移动电源或移动供电的任意设备。

如上所述，移动计算设备的示例可以包括数字静态相机、数字视频相机、诸如成像手机之类的具有相机或视频功能的移动设备、网络摄像机、个人计算机（PC）、膝上型计算机、超-膝上型计算机、平板计算机、触摸板、便携计算机、手持计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备（例如，智能手机、智能平板计算机或智能电视机）、移动互联网设备（MID）、消息传送设备、数据通信设备等等。

移动计算设备的示例还可以包括被布置为由人穿戴的计算机，诸如腕式计算机、手指计算机、戒指计算机、眼镜计算机、皮带扣计算机、臂带计算机、鞋计算机、衣服计算机以及其它可穿戴计算机。在各种实现中，例如，移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能手机。尽管某些实现可以利用通过示例的方式实现为智能手机的移动计算设备来描述，但是应当意识到，也可以使用其它无线移动计算设备来实现其它实现。实现并不受限于该上下文中。

如图12中所示，设备1200可以包括外壳1202、包括屏幕1210的显示器1204、输入/输出（I/O）设备1206和天线1208（无论是如所示的外部的、诸如可穿戴设备之类的隐藏的和/或内部的）。设备1200还可以包括导航特征1212。显示器1204可以包括用于显示适于移动计算设备的信息的任何适当的显示单元。I/O设备1206可以包括用于将信息输入到移动计算设备中的任何适当的I/O设备。针对I/O设备1206的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇杆开关、麦克风、扬声器、语音识别设备和软件等等。信息还可以通过麦克风（未示出）的方式输入到设备1200中。可以通过语音识别设备（未示出）来将这样的信息数字化。实现并不受限于该上下文中。

本文所描述的各种形式的设备和过程可以使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可以包括：处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路（ASIC）、可编程逻辑器件（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组等等。软件的示例可以包括：软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任意组合。关于是使用硬件元件和/或软件元件来对实现进行实现的确定可以根据任意数量的因素而改变，所述因素诸如是期望的计算速率、功率电平、热容限、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。

至少一个实现的一个或多个方面可以由存储在机器可读介质上的有代表性的指令来实现，该指令表示处理器内的各种逻辑，当其被机器读取时使得机器制造出用于执行本文所描述的技术的逻辑。被称为“IP内核”的这样的表示可以存储在有形的机器可读介质上，并将其提供给各种消费者或制造设施，以加载到实际制造逻辑或处理器的制造机器中。

尽管参照各种实现描述了本文所阐述的特定特征，但是本说明书不旨在以限制的意义来进行解释。因此，对本文中所描述的实现的各种改变以及其它实现对本公开所属于的领域的技术人员来说是显而易见的，并且其被认为是位于本公开内容的精神和范围之内。

下面的示例关于进一步的实现。

通过一个实现，一种增加针对具有对角布局的相机图像的整数视差精度的计算机实现的方法，包括：获得具有包括第一图像和第二图像的至少一个对角布置的图像对的相同场景的多个图像的图像数据；确定与第一图像上的第一点相对应的所述第二图像上的多个对应潜在视差点，并且其中将每个潜在视差点从与所述第一点在所述第一图像上的位置相对应的在所述第二图像上的位置远离地移位整数视差值的范围之一，其中所述整数视差值的范围沿着从所述第一点和所述第二图像上的位置延伸的对角极线来安置；和取决于通过使用与所述各个潜在视差点附近的多个相邻点相关联的特征值以及通过使用与所述第一点相关联的特征值所确定的所述各个潜在视差点的匹配成本，确定所述潜在视差点的哪个视差点对应于所述第一点。

在该方法的另一实现中，该方法可以包括所述对角图像对对应于捕获所述图像的相机阵列中的相机的对角布置；该方法包括：通过使用与特征值的双线性插值来确定所述匹配成本，其中所述特征值基于所述相邻点处或所述相邻点附近的颜色、梯度或灰度值；选择围绕非整数坐标的所述潜在视差点的四个最靠近的整个像素点作为所述相邻点；基于与所述第一图像上的第一点相关联的所述特征值和与所述各个相邻点相关联的所述特征值之间的特征差异来确定所述匹配成本；和基于与所述第一点相关联的并且在所述第一图像上的支持区域和每一个都与各个相邻点相关联的并且在所述第二图像上的支持区域中的点的特征差异，来确定针对各个相邻点的特征差异值。

该方法还可以包括通过包括连续像素点的特征值并且包括全部都具有符合标准的相同类型特征的特征值的相邻点来确定所述支持区域中的至少一个；其中通过使用在所述第二图像上的相邻点的所述支持区域与在所述第一图像上的所述第一点的所述支持区域的重叠中共同的重叠像素位置来确定所述特征差异值；其中通过使用由所述重叠像素位置形成的面积的所述特征值的绝对差异的和来确定所述特征差异值；其中至少部分地通过将来自潜在视差点的每个相邻点的所述特征差异值相加来确定针对所述潜在视差点的所述匹配成本；其中至少部分地通过取决于所述相邻点有多靠近与所述潜在视差点相关联的非整数视差点，来对来自所述潜在视差点的各个相邻点的所述特征差异值进行加权，从而确定针对潜在视差点的所述匹配成本；和所述方法包括将所述潜在视差点选择为具有所述最低匹配成本的所述最终潜在视差点。

通过又另一实现，一种增加针对具有对角布局的相机图像的整数视差精度的计算机实现的系统，包括：显示器；通信地耦合到所述显示器的至少一个处理器；通信地耦合到至少一个处理器的至少一个存储器；和对角视差单元，所述对角视差单元由所述处理器操作并且用于：获得具有包括第一图像和第二图像的至少一个对角布置的图像对的相同场景的多个图像的图像数据；确定与第一图像上的第一点相对应的所述第二图像上的多个对应潜在视差点，并且其中将每个潜在视差点从与所述第一点在所述第一图像上的位置相对应的在所述第二图像上的位置远离地移位整数视差值的范围之一，其中所述整数视差值的范围沿着从所述第一点和所述第二图像上的位置延伸的对角极线来安置；和取决于通过使用与所述各个潜在视差点附近的多个相邻点相关联的特征值以及通过使用与所述第一点相关联的特征值所确定的所述各个潜在视差点的匹配成本，确定所述潜在视差点的哪个视差点对应于所述第一点。

在系统的进一步实现中，所述系统可以包括：所述对角图像对对应于捕获所述图像的相机阵列中的相机的对角布置，所述系统具有对角视差单元，所述对角视差单元由所述处理器操作并且用于：通过使用与所述特征值的双线性插值来确定所述匹配成本，其中所述特征值基于在所述相邻点处或所述邻近点附近的颜色、梯度或灰度值；选择围绕非整数坐标的所述潜在视差点的四个最靠近的整个像素点作为所述相邻点；基于与所述第一图像上的第一点相关联的所述特征值和与所述各个相邻点相关联的所述特征值之间的特征值差异来确定所述匹配成本；基于与所述第一点相关联的并且在所述第一图像上的支持区域和每一个都与各个相邻点相关联的并且在所述第二图像上的支持区域中的点的特征差异，来确定针对各个相邻点的特征差异值。

所述系统还可以包括通过包括连续像素点的特征值并且包括全部都具有符合标准的相同类型特征的特征值的相邻点来确定所述支持区域中的至少一个；其中通过使用在所述第二图像上的相邻点的所述支持区域与在所述第一图像上的所述第一点的所述支持区域的重叠中共同的重叠像素位置来确定所述特征差异值；其中通过使用由所述重叠像素位置形成的面积的所述特征值的绝对差异的和来确定所述特征差异值；其中至少部分地通过将来自潜在视差点的每个相邻点的所述特征差异值相加来确定针对所述潜在视差点的所述匹配成本；其中至少部分地通过取决于所述相邻点有多靠近与所述潜在视差点相关联的非整数视差点，来对来自所述潜在视差点的各个相邻点的所述特征差异值进行加权，从而确定针对潜在视差点的所述匹配成本；和所述系统具有用于将所述潜在视差点选择为具有所述最低匹配成本的所述最终潜在视差点的所述对角视差单元。

通过仍进一步的实现，一种其上存储有指令的计算机可读介质，所述指令在被执行时使得计算设备：获得具有包括第一图像和第二图像的至少一个对角布置的图像对的相同场景的多个图像的图像数据；确定与第一图像上的第一点相对应的所述第二图像上的多个对应潜在视差点，并且其中将每个潜在视差点从与所述第一点在所述第一图像上的位置相对应的在所述第二图像上的位置远离地移位整数视差值的范围之一，其中所述整数视差值的范围沿着从所述第一点和所述第二图像上的位置延伸的对角极线来安置；和取决于通过使用与所述各个潜在视差点附近的多个相邻点相关联的特征值以及通过使用与所述第一点相关联的特征值所确定的所述各个潜在视差点的匹配成本，确定所述潜在视差点的哪个视差点对应于所述第一点。

通过另一实现，指令还可以使计算设备包括：所述对角图像对对应于捕获所述图像的相机阵列中的相机的对角布置，所述指令使得计算设备通过使用与所述特征值的双线性插值来确定所述匹配成本，其中所述特征值基于在所述相邻点处或所述邻近点附近的颜色、梯度或灰度值；选择围绕非整数坐标的所述潜在视差点的四个最靠近的整个像素点作为所述相邻点；基于与所述第一图像上的第一点相关联的所述特征值和与所述各个相邻点相关联的所述特征值之间的特征差异来确定所述匹配成本；基于与所述第一点相关联的并且在所述第一图像上的支持区域和每一个都与各个相邻点相关联的并且在所述第二图像上的支持区域中的点的特征差异，来确定针对各个相邻点的特征差异值。

所述指令还包括：通过包括连续像素点的特征值并且包括全部都具有符合标准的相同类型特征的特征值的相邻点来确定所述支持区域中的至少一个；其中通过使用在所述第二图像上的相邻点的所述支持区域与在所述第一图像上的所述第一点的所述支持区域的重叠中共同的重叠像素位置来确定所述特征差异值；其中通过使用由所述重叠像素位置形成的面积的所述特征值的绝对差异的和来确定所述特征差异值；其中至少部分地通过将来自潜在视差点的每个相邻点的所述特征差异值相加来确定针对所述潜在视差点的所述匹配成本；其中至少部分地通过取决于所述相邻点有多靠近与所述潜在视差点相关联的非整数视差点，来对来自所述潜在视差点的各个相邻点的所述特征差异值进行加权，从而确定针对潜在视差点的所述匹配成本；和所述系统具有用于将所述潜在视差点选择为具有所述最低匹配成本的所述最终潜在视差点的所述对角视差单元。

在另外的示例中，至少一个机器可读介质可以包括多个指令，响应于在计算设备上执行，使得计算设备执行根据上面示例中的任意一个示例的方法。

在又另外的示例中，装置可以包括用于执行根据上面示例中的任意一个示例的方法的部件。

上面的示例可以包括特定的特征组合。然而，上面的示例在这方面不受限制，并且在各种实现中，上面的示例可以包括仅采取这样的特征的子集，采取这样的特征的不同顺序，采取这样的特征的不同组合，和/或采取除明确列出的那些特征之外的另外的特征。例如，关于本文的任意示例方法所描述的全部特征可以关于任意示例装置、示例系统和/或示例物品来实现，并且反之亦然。

Claims (26)

1.一种增加针对具有对角布局的相机图像的整数视差精度的计算机实现的方法，包括：

获得具有包括第一图像和第二图像的至少一个对角布置的图像对的相同场景的多个图像的图像数据；

确定与第一图像上的第一点相对应的所述第二图像上的多个对应潜在视差点，并且其中将每个潜在视差点从与所述第一点在所述第一图像上的位置相对应的在所述第二图像上的位置远离地移位整数视差值的范围之一，其中所述整数视差值的范围沿着从所述第一点和所述第二图像上的位置延伸的对角极线来安置；和

取决于通过使用与各个潜在视差点附近的多个相邻点相关联的特征值以及通过使用与所述第一点相关联的特征值所确定的所述各个潜在视差点的匹配成本，确定所述潜在视差点的哪个视差点对应于所述第一点。

2.根据权利要求1所述的方法，其中，对角图像对对应于捕获所述图像的相机阵列中的相机的对角布置。

3.根据权利要求1所述的方法，包括：通过使用与所述特征值的双线性插值来确定所述匹配成本。

4.根据权利要求1所述的方法，包括：选择围绕非整数坐标的潜在视差点的四个最靠近的整个像素点作为所述相邻点。

5.根据权利要求1所述的方法，其中，所述特征值基于在所述相邻点处或所述相邻点附近的颜色、梯度或灰度值。

6.根据权利要求1所述的方法，包括：基于与所述第一图像上的第一点相关联的特征值和与各个相邻点相关联的特征值之间的特征差异来确定所述匹配成本。

7.根据权利要求6所述的方法，包括：基于与所述第一点相关联的并且在所述第一图像上的支持区域和每一个都与各个相邻点相关联的在所述第二图像上的支持区域中的点的特征差异，来确定针对各个相邻点的特征差异值。

8.根据权利要求7所述的方法，其中，通过包括连续像素点的特征值并且包括全部都具有符合标准的相同类型特征的特征值的相邻点来确定所述支持区域中的至少一个。

9.根据权利要求7所述的方法，其中，通过使用在所述第二图像上的相邻点的支持区域与在所述第一图像上的所述第一点的支持区域的重叠中共同的重叠像素位置来确定所述特征差异值。

10.根据权利要求9所述的方法，其中，通过使用由所述重叠像素位置形成的面积的特征值的绝对差异的和来确定所述特征差异值。

11.根据权利要求7所述的方法，其中，至少部分地通过将来自潜在视差点的每个相邻点的特征差异值相加来确定针对潜在视差点的匹配成本。

12.根据权利要求7所述的方法，其中，至少部分地通过取决于所述相邻点有多靠近与所述潜在视差点相关联的非整数视差点，来对来自所述潜在视差点的各个相邻点的特征差异值进行加权，从而确定针对潜在视差点的匹配成本。

13.根据权利要求1所述的方法，包括：将所述潜在视差点选择为具有最低匹配成本的最终潜在视差点。

14.根据权利要求1所述的方法，其中，对角图像对对应于捕获所述图像的相机阵列中的相机的对角布置；

所述方法包括：

通过使用与特征值的双线性插值来确定所述匹配成本，其中，所述特征值基于在所述相邻点处或所述相邻点附近的颜色、梯度或灰度值；

选择围绕非整数坐标的潜在视差点的四个最靠近的整个像素点作为所述相邻点；

基于与所述第一图像上的第一点相关联的特征值和与各个相邻点相关联的特征值之间的特征差异来确定所述匹配成本；

基于与所述第一点相关联的并且在所述第一图像上的支持区域和每一个都与各个相邻点相关联的在所述第二图像上的支持区域中的点的特征差异，来确定针对各个相邻点的特征差异值；

其中，通过包括连续像素点的特征值并且包括全部都具有符合标准的相同类型特征的特征值的相邻点来确定所述支持区域中的至少一个；

其中，通过使用在所述第二图像上的相邻点的支持区域与在所述第一图像上的所述第一点的支持区域的重叠中共同的重叠像素位置来确定所述特征差异值；

其中，通过使用由所述重叠像素位置形成的面积的特征值的绝对差异的和来确定所述特征差异值；

其中，至少部分地通过将来自潜在视差点的每个相邻点的特征差异值相加来确定针对潜在视差点的匹配成本；

其中，至少部分地通过取决于所述相邻点有多靠近与所述潜在视差点相关联的非整数视差点，来对来自所述潜在视差点的各个相邻点的特征差异值进行加权，从而确定针对潜在视差点的匹配成本；和

所述方法包括将所述潜在视差点选择为具有最低匹配成本的最终潜在视差点。

15.一种增加针对具有对角布局的相机图像的整数视差精度的计算机实现的系统，包括：

显示器；

通信地耦合到所述显示器的至少一个处理器；

通信地耦合到至少一个处理器的至少一个存储器；和

对角视差单元，所述对角视差单元由所述处理器操作并且用于：

获得具有包括第一图像和第二图像的至少一个对角布置的图像对的相同场景的多个图像的图像数据；

确定与第一图像上的第一点相对应的所述第二图像上的多个对应潜在视差点，并且其中将每个潜在视差点从与所述第一点在所述第一图像上的位置相对应的在所述第二图像上的位置远离地移位整数视差值的范围之一，其中所述整数视差值的范围沿着从所述第一点和所述第二图像上的位置延伸的对角极线来安置；和

取决于通过使用与各个潜在视差点附近的多个相邻点相关联的特征值以及通过使用与所述第一点相关联的特征值所确定的所述各个潜在视差点的匹配成本，确定所述潜在视差点的哪个视差点对应于所述第一点。

16.根据权利要求15所述的系统，其中，对角图像对对应于捕获所述图像的相机阵列中的相机的对角布置。

17.根据权利要求15所述的系统，其中，所述对角视差单元用于通过使用与所述特征值的双线性插值来确定所述匹配成本。

18.根据权利要求15所述的系统，其中，所述对角视差单元用于选择围绕非整数坐标的潜在视差点的四个最靠近的整个像素点作为所述相邻点。

19.根据权利要求15所述的系统，其中，所述特征值基于在所述相邻点处或所述相邻点附近的颜色、梯度或灰度值。

20.根据权利要求15所述的系统，其中，所述对角视差单元用于基于与所述第一图像上的第一点相关联的特征值和与各个相邻点相关联的特征值之间的特征差异来确定所述匹配成本。

21.根据权利要求20所述的系统，其中，所述对角视差单元用于基于与所述第一点相关联的并且在所述第一图像上的支持区域和每一个都与各个相邻点相关联的在所述第二图像上的支持区域中的点的特征差异，来确定针对各个相邻点的特征差异值。

22.根据权利要求20所述的系统，其中，至少部分通过将来自潜在视差点的每个相邻点的特征差异值相加；以及通过取决于所述相邻点有多靠近与所述潜在视差点相关联的非整数视差点，来对来自所述潜在视差点的各个相邻点的特征差异值进行加权，来确定针对潜在视差点的匹配成本。

23.根据权利要求20所述的系统，其中，通过使用在所述第二图像上的相邻点的支持区域与在所述第一图像上的所述第一点的支持区域的重叠中共同的重叠像素位置来确定所述特征差异值。

24.根据权利要求15所述的系统，其中，对角图像对对应于捕获所述图像的相机阵列中的相机的对角布置，所述系统具有由处理器操作的对角视差单元并且用于：

通过使用与所述特征值的双线性插值来确定所述匹配成本，其中，所述特征值基于在所述相邻点处或所述相邻点附近的颜色、梯度或灰度值；

选择围绕非整数坐标的潜在视差点的四个最靠近的整个像素点作为所述相邻点；

基于与所述第一图像上的第一点相关联的特征值和与各个相邻点相关联的特征值之间的特征差异来确定所述匹配成本；

基于与所述第一点相关联的并且在所述第一图像上的支持区域和每一个都与各个相邻点相关联的在所述第二图像上的支持区域中的点的特征差异，来确定针对各个相邻点的特征差异值；

其中，通过包括连续像素点的特征值并且包括全部都具有符合标准的相同类型特征的特征值的相邻点来确定所述支持区域中的至少一个；

其中，通过使用在所述第二图像上的相邻点的支持区域与在所述第一图像上的所述第一点的支持区域的重叠中共同的重叠像素位置来确定所述特征差异值；

其中，通过使用由所述重叠像素位置形成的面积的特征值的绝对差异的和来确定所述特征差异值；

其中，至少部分地通过将来自潜在视差点的每个相邻点的特征差异值相加来确定针对潜在视差点的匹配成本；

其中，至少部分地通过取决于所述相邻点有多靠近与所述潜在视差点相关联的非整数视差点，来对来自所述潜在视差点的各个相邻点的特征差异值进行加权，从而确定针对潜在视差点的匹配成本；和

所述系统具有用于将所述潜在视差点选择为具有最低匹配成本的最终潜在视差点的对角视差单元。

25.一种用于增加针对具有对角布局的相机图像的整数视差精度的装置，包括用于执行根据权利要求1-14中任一项所述的方法的部件。

26.一种计算机可读介质，在其上存储有指令，当指令被执行时导致计算机设备执行根据权利要求1-14中任一项所述的方法。

Images