CN103136743A - 立体匹配系统中的预处理装置 - Google Patents

Abstract

本发明提供了一种立体匹配系统中的预处理装置。在预处理装置中，存储立体相机的坐标信息，使用坐标信息来指定新的像素地址，并且使用新的像素地址来校正从立体相机接收到的图像和右图像。

Description

立体匹配系统中的预处理装置

技术领域

本发明的一方面涉及用于对三维图像进行预处理的技术，并且具体地涉及在立体相机中使用的立体匹配系统中的预处理装置等。

背景技术

众所周知，人的视力是用于获取外围环境信息的感官之一，并且可以通过双眼来识别出对象的位置和距离。也就是说，通过双眼接收到的视力信息被合并为距离信息，使得人能够自由移动而不会感到不便。

当使用一种机制来实现人的视力结构时，使用立体相机系统。

在立体相机系统中，对使用两个相机所获得的图像执行立体匹配。在该情况下，两个相机的外部和内部结构彼此不同。因此，为了使两个相机的内部结构等同（equalize），在常规的立体匹配系统中，通过针对两个相机之间的差异创建参考表并且对两个相机中的每一个应用该参考表中的值来执行预处理。

然而，由于在使用参考表的常规立体匹配系统中应当使用多个非易失性存储器（ROM），所以硬件尺寸增大并且硬件价格有提高。

发明内容

本发明的实施例提供了一种立体匹配系统中的预处理装置，其中，减少了非易失性存储器的数目，并且立体相机的权重信息作为等同值来提供，使得可以在保持相同性能的同时降低硬件的尺寸和价格。

应当理解，本发明要解决的技术问题并不限于上述技术问题，并且从以下描述中，没有提到的其它技术问题对于本发明所属于领域的普通技术人员来说是显而易见的。

根据本发明的一个方面，提供了一种在具有立体相机的立体匹配系统中的预处理装置，该预处理装置包括：第一存储，该第一存储被配置为存储立体相机的坐标信息；以及预处理单元，该预处理单元被配置为使用坐标信息来指定新的像素地址，并且使用新的像素地址对从立体相机接收到的左图像和右图像进行校正。

第一存储单元可以包括被配置为存储坐标信息中的左行位置的第二存储、被配置为存储坐标信息中的左列位置的第三存储、被配置为存储坐标信息中的右行位置的第四存储、以及被配置为存储坐标信息中的右列位置的第五存储。

第二至第五存储可以包括非易失性存储器。

预处理单元可以包括：被配置为使用坐标信息来指定图像的新的像素地址的地址生成器；以及被配置为使用新的像素地址和立体相机的权重信息对左图像和右图像进行内插的内插器。

预处理单元可以进一步包括被配置为存储从立体相机接收到的左图像和右图像的第六存储。

第六存储可以包括易失性存储器。

权重信息可以作为预定值而被提供给内插器。

预定值实质上可以是0.25。

内插器可以对新的像素地址应用权重信息以获得相应像素的平均值。

预处理单元可以包括被配置为使用左行位置和左列位置来指定左图像的新的像素地址的左地址生成器、被配置为使用右行位置和右列位置来指定右图像的新的像素地址的右地址生成器、被配置为使用左图像的新的像素地址和立体相机的左权重信息来对左图像进行内插的左内插器、以及被配置为使用右图像的新的像素地址和立体相机的右权重信息来对右图像进行内插的右内插器。

预处理单元可以进一步包括被配置为存储左图像的第七存储以及被配置为存储右图像的第八存储。

第七和第八存储可以包括易失性存储器。

左权重信息和右权重信息可以作为预定值被分别提供给左内插器和右内插器。

预定值实质上可以是0.25。

左内插器可以对左图像的新的像素地址应用左权重信息来获得相应像素的平均值。

右内插器可以对右图像的新的像素地址应用右权重信息来获得相应像素的平均值。

如上所述，在根据本发明的立体匹配系统中的预处理装置中，减少常规预处理装置中所使用的非易失性存储器的数目，使得能够减小系统的尺寸并且降低成本。

此外，通过使立体相机的权重信息等同于预定值来对图像进行内插，使得能够简化内插器的计算。

此外，指定新的像素地址的表达式用等同表达式来替代，从而简化了对于地址生成的计算。

附图说明

从以下结合附图对实施例的描述，本发明的这些和/或其它方面和优点将变得显而易见并且更易于理解，在附图中：

图1是图示立体匹配系统中的常规预处理装置的配置视图；

图2是图示根据本发明的实施例的立体匹配系统中的预处理装置的配置视图；

图3是图示立体匹配系统中的常规预处理装置所输出的校正图像的示例性视图；以及

图4是图示根据本发明实施例的立体匹配系统中的预处理装置所输出的校正图像的示例性视图。

具体实施方式

在下文中，参考其中示出本发明实施例的附图来对本发明进行更全面地描述。然而，本发明可以以许多不同形式来实现，并且不应被理解为限于这里所给出的实施例。相反，提供这些实施例以使得本公开完整，并且向本领域技术人员全面传递本发明的范围。

应当理解，虽然这里可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件并不应受到这些术语的限制。这些术语仅用于使一个元件与另一个元件进行区分。因此，在不背离本发明的教导的情况下，以下所讨论的“第一”元件也可以被称为“第二”元件。

应当理解，当元件被称为“耦合”或“连接”到另一个元件时，该元件可以直接耦合或连接到其它元件，或者还可以存在中间元件。相反，当元件被称为“直接耦合”或“直接连接”到另一个元件时，不存在中间元件。

这里所使用的术语仅是为了描述特定实施例而并非意在对本发明进行限制。如这里所使用的，除非上下文另外明确指出，否则单数形式“一”、“该”意在也包括复数形式。

应当进一步理解，当在该说明书中使用时，术语“包括”指定存在所提及特征、整体、步骤、操作、元件和/或组件，但是并不排除存在和/或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

在附图中，为了清楚而放大了层、膜和区域的厚度。相同的附图标记始终指相同元件。

在下文中，首先将对常规预处理装置进行描述，并且然后将参考附图来详细描述根据本发明实施例的预处理装置。

图1是图示立体匹配系统中的常规预处理装置的配置视图。

立体匹配系统中的常规预处理装置使用校正参数来对分别从两个立体相机（未示出）提供的左图像和右图像进行校正，并且通过使左图像和右图像的核线（epipolar line）对准来输出校正的左图像和右图像。

该常规预处理装置包括预处理单元100和非易失性存储器单元200。非易失性存储器单元200包括左行位置存储210、左列位置存储220、左行权重存储230、左列权重存储240、右行位置存储250、右列位置存储260、右行权重存储270和右列权重存储280。

这样，非易失性存储器单元200存储坐标信息以及权重信息，该坐标信息包括左行位置、左列位置、右行位置、右列位置等，该权重信息包括左行权重、左列权重、右行权重、右列权重等。

左地址生成器110根据以下表达式使用左行位置存储210和左列位置存储220中所存储的数据来估算地址。右地址生成器150根据以下表达式使用右行位置存储250和右列位置存储260中所存储的数据来估算地址。

表达式1

x←(u-c′_x)/f′_x

y←(v-c′_y)/f′_y

表达式2

[XYW]^T←R^T×[xy1]^T

表达式3

x′←X/W

y′←Y/W

表达式4

x″←x′(1+k₁r²+k₂r⁴+k₃r⁶)+2p₁x′y′+p₂(r²+2x′²)

y″←y′(1+k₁r²+k₂r⁴+k₃r⁶)+p₁(r²+2y′²)+2p₂x′y′

表达式5

map_x(u,v)←x″f_x+c_x

map_y(u,v)←y″f_y+c_y

最终通过表达式5来获得分别由左地址生成器110和右地址生成器150所输出的像素地址。

在该情况下，原始相机矩阵为 $A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$ 其中f_x表示原始x轴缩放因数，f_y表示原始y轴缩放因数，c_x表示原始x轴主点（principalpoint），并且c_y表示原始y轴主点。

所生成的新的相机矩阵为 $A=\left[\begin{array}{ccc}{f^{\′}}_x& 0& {c^{\′}}_x\\ 0& {f^{\′}}_y& {c^{\′}}_y\\ 0& 0& 1\end{array}\right]$ 其中f’_x表示新的x轴缩放因数，f′_y表示新的y轴缩放因数，c’_x表示新的x轴主点，并且c′_y表示新的y轴主点。

当假设图像大小为N×M时，u表示从1到N的x轴像素索引，并且v表示从1到M的y轴像素索引。左地址生成器110和右地址生成器150通过分别获得与从(1,1)到(N,M)的像素相对应的新的像素地址来执行如上所述的计算。在该情况下，k₁、k₂、p₁和p₂表示失真变量。

左权重生成器120使用在左行权重存储230和左列权重存储240中所存储的左行权重和左列权重来生成左权重。右权重生成器160使用在右行权重存储270和右列权重存储280中所存储的右行权重和右列权重来生成右权重。

左内插器140和右内插器180分别使用如上所述生成的左地址和右地址以及左权重和右权重来对左图像和右图像进行内插。

然而，由于在常规预处理装置中有必要使用至少八个非易失性存储器，所以系统的尺寸增大并且需要大量成本。

为了解决常规系统的上述问题，本发明使用其数目小于常规预处理装置中所使用的非易失性存储器的数目的非易失性存储器，使得能够减小系统的尺寸，以降低计算复杂度并且节约成本。

图2是图示根据本发明的实施例的立体匹配系统中的预处理装置的配置视图。

如图2所示，根据本发明实施例的预处理装置包括预处理单元10和非易失性存储器单元20。

非易失性存储器单元20包括左行位置存储21、左列位置存储22、右行位置存储23和右列位置存储24。

非易失性存储器单元20被配置为非易失性存储器，并且存储21至24中的每一个都包括一个非易失性存储器。非易失性存储器是在不供电的情况下持续保持存储在其中信息的存储器，并且只读存储器（ROM）被用作非易失性存储器的代表。

预处理单元10包括左地址生成器11、右地址生成器12、左图像存储13、右图像存储14、左内插器15和右内插器16。

左图像存储13和右图像存储14用来分别存储通过立体相机（未示出）所获得的左图像和右图像。左图像存储13和右图像存储14优选地是易失性存储器。

易失性存储器是指需要电力以便于保持存储于其中的信息的计算机存储器，并且也被称作临时存储器。随机存取存储器（RAM）被用作易失性存储器的代表。

也就是说，左图像存储13和右图像存储14临时地存储来自立体相机（未示出）的相应的左图像和右图像，并且将所存储的左图像和右图像分别提供到相应的左内插器15和右内插器16。

非易失性存储器单元20的左行位置存储21和左列位置存储22存储提供左图像的立体相机（未示出）的坐标信息（左行位置和左列位置），并且非易失性存储器单元20的右行位置存储23和右列位置存储24存储提供右图像的立体相机（未示出）的坐标信息（右行位置和右列位置）。

在图1的常规预处理装置中，向左内插器140和右内插器180提供分别存储在左行权重存储230、左列权重存储240、右行权重存储270和右列权重存储280中的立体相机的权重信息，即，左行权重、左列权重、右行权重和右列权重。另一方面，在根据本发明的实施例的预处理装置中，预定值（例如，0.25）作为左权重和右权重分别被提供到左内插器15和右内插器16。

在该情况下，左权重包括左行权重和左列权重，并且右权重包括右行权重和右列权重。

根据本发明的实施例的左地址生成器11和右地址生成器12分别通过将表达式1至5演化到以下表达式6至10所表示的等同形式来生成新的像素地址。

表达式6

x←(u-c′_x)/f′_x

y←(v-c′_y)/f′_y

在该情况下，左地址生成器11和右地址生成器12在表达式2中被假设为R=I。这里，I表示单位矩阵，并且因此R^-1=I。也就是说，表达式2被演化为如以下表达式7所表示。

表达式7

[XYW]^T←[xy1]^T

表达式8

x′←x

y′←y

因此，与表达式3相比，表达式8的计算被简化。

表达式9

x″←x′(1+k₁r²+k₂r⁴)+2p₁x′y′+p₂(r²+2x′²)

y″←y′(1+k₁r²+k₂r⁴)+p₁(r²+2y′²)+2p₂x′y′

表达式10

map_x(u,v)←x″f_x+c_x

map_y(u,v)←y″f_y+c_y

根据本发明的实施例的左地址生成器11和右地址生成器12通过省略表达式4中的项r⁶来简化表达式9所表示的计算。由于r⁶在立体相机的特征方面是非常小的小数点，所以r⁶是非常小的值。因此，可以省略r⁶。

因此，在考虑到电路复杂度、成本和性能的情况下，可以认为以上所描述的等同表达式是优化的表达式。

最终通过表达式10来获得分别由左地址生成器11和右地址生成器12所输出的新的像素地址。

在该情况下，校正参数的原始相机矩阵为 $A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$ 其中f_x表示原始x轴缩放因数，f_y表示原始y轴缩放因数，c_x表示原始x轴主点，并且c_y表示原始y轴主点。

所生成的校正参数的新的相机矩阵为 $A=\left[\begin{array}{ccc}{f^{\′}}_x& 0& {c^{\′}}_x\\ 0& {f^{\′}}_y& {c^{\′}}_y\\ 0& 0& 1\end{array}\right]$ 其中f’_x表示新的x轴缩放因数，f′_y表示新的y轴缩放因数，c′_x表示新的x轴主点，并且c′_y表示新的y轴主点。

在该情况下，k₁、k₂、p₁和p₂表示失真变量。

在假设图像大小为N×M时，u表示从1到N的x轴像素索引，并且v表示从1到M的y轴像素索引。左地址生成器11和右地址生成器12通过获得与从(1,1)到(N,M)的像素相对应的新的像素地址来执行如上所述的计算。

左内插器15使用左地址生成器11所生成的新的像素地址以及作为等值输入的左权重来对在左图像存储13中临时存储的左图像进行内插。右内插器16使用右地址生成器12所生成的新的像素地址以及作为等值输入的右权重来对在右图像存储14中临时存储的右图像进行内插。

特别地，左内插器15从左地址生成器11接收四个像素的地址，即顶像素、底像素、左像素和右像素，并且将权重信息应用于接收到的像素地址，从而获得相应像素的平均值。右内插器16从右地址生成器12接收四个像素的地址，即顶像素、底像素、左像素和右像素，并且将权重信息应用于接收到的像素地址，从而获得相应像素的平均值。在本发明的实施例中，对左权重和右权重提供相同的值。然而，本发明并不限于此，并且可以出现左权重和右权重彼此不同的情况。

图3是图示立体匹配系统中的常规预处理装置所输出的校正图像的示例性视图。图4是图示根据本发明的实施例的立体匹配系统中的预处理装置所输出的校正图像的示例性视图。图3和图4分别图示了左图像和右图像。

如图3和图4所示，在根据本发明的实施例的预处理装置中，可以通过移除存储了权重信息的非易失性存储器来等同地提供权重信息，并且与常规预处理装置中相比，计算可以被简化。然而，可以看到，通过根据本发明实施例的预处理装置所执行的校正图像几乎与通过常规预处理装置所执行的相同。

虽然已经结合优选实施例描述了本发明，但是本发明的实施例仅出于说明的目的，而不应当被理解为对本发明的范围进行限制。本领域技术人员应当理解的是，能够在所附权利要求所限定的技术精神和范围内对其进行改变和修改。

Claims (16)

1.一种在具有立体相机的立体匹配系统中的预处理装置，所述预处理装置包括：

第一存储，所述第一存储被配置为存储所述立体相机的坐标信息；以及

预处理单元，所述预处理单元被配置为使用所述坐标信息来指定新的像素地址，并且使用所述新的像素地址对从所述立体相机接收到的左图像和右图像进行校正。

2.根据权利要求1所述的预处理装置，其中，所述第一存储包括：

第二存储，所述第二存储被配置为存储所述坐标信息中的左行位置；

第三存储，所述第三存储被配置为存储所述坐标信息中的左列位置；

第四存储，所述第四存储被配置为存储所述坐标信息中的右行位置；以及

第五存储，所述第五存储被配置为存储所述坐标信息中的右列位置。

3.根据权利要求2所述的预处理装置，其中，所述第二存储至所述第五存储包括非易失性存储器。

4.根据权利要求1所述的预处理装置，其中，所述预处理单元包括：

地址生成器，所述地址生成器被配置为使用所述坐标信息来指定图像的新的像素地址；以及

内插器，所述内插器被配置为使用所述新的像素地址和所述立体相机的权重信息来对所述左图像和所述右图像进行内插。

5.根据权利要求4所述的预处理装置，其中，所述预处理单元进一步包括第六存储，所述第六存储被配置为存储从所述立体相机接收到的所述左图像和所述右图像。

6.根据权利要求5所述的预处理装置，其中，所述第六存储包括易失性存储器。

7.根据权利要求4所述的预处理装置，其中，所述权重信息作为预定值被提供给所述内插器。

8.根据权利要求7所述的预处理装置，其中，所述预定值实质上是0.25。

9.根据权利要求4所述的预处理装置，其中，所述内插器对所述新的像素地址应用所述权重信息，以获得相应像素的平均值。

10.根据权利要求2的预处理装置，其中，所述预处理单元包括：

左地址生成器，所述左地址生成器被配置为使用所述左行位置和所述左列位置来指定所述左图像的新的像素地址；

右地址生成器，所述右地址生成器被配置为使用所述右行位置和所述右列位置来指定所述右图像的新的像素地址；

左内插器，所述左内插器被配置为使用所述左图像的新的像素地址和所述立体相机的左权重信息来对所述左图像进行内插；以及

右内插器，所述右内插器被配置为使用所述右图像的新的像素地址和所述立体相机的右权重信息来对所述右图像进行内插。

11.根据权利要求10的预处理装置，其中，预处理器进一步包括：

第七存储，所述第七存储被配置为存储所述左图像；以及

第八存储，所述第八存储被配置为存储所述右图像。

12.根据权利要求11的预处理装置，其中，所述第七存储和所述第八存储包括易失性存储器。

13.根据权利要求10的预处理装置，其中，所述左权重信息和所述右权重信息作为预定值被分别提供给所述左内插器和所述右内插器。

14.根据权利要求13的预处理装置，其中，所述预定值实质上是0.25。

15.根据权利要求10的预处理装置，其中，所述左内插器对所述左图像的新的像素地址应用所述左权重信息，以获得相应像素的平均值。

16.根据权利要求10的预处理装置，其中，所述右内插器对所述右图像的新的像素地址应用所述右权重信息，以获得相应像素的平均值。

Images