CN105894482B - 平衡各视点图像间亮度差异的方法及系统 - Google Patents

Abstract

本发明公开了一种平衡各视点图像间亮度差异的方法。该方法包括：识别n个成像设备的感光平面的特定公共视场区域并分别予以标定；当对实际场景进行立体视觉成像时，获取每一个成像设备所分别采集到的视点图像，分析所述视点图像中相应的特定公共视场区域的电平量化值；以及，基于分析结果，根据预设规则对所述视点图像进行增益调整。通过本发明所提供的方法，基于硬件从根源上平衡各视点图像间的亮度差异，能够避免现有方法所导致的庞大系统开销；以及，能够进一步降低系统消耗，提高处理效率。

Description

平衡各视点图像间亮度差异的方法及系统

技术领域

本发明涉及计算机立体视觉领域，尤其涉及平衡各视点图像间亮度差异的方法及系统。

背景技术

计算机立体视觉的基本原理是从两个(或多个)视点观察同一对象，以获取两个(或多个)视点图像，并根据所获取的两个(或多个)视点图像经由设备标定、图像预处理、特征提取、立体匹配、三维重建等一系列处理过程来恢复该对象的三维信息，获得完整的立体视觉图像。

以两个视点为例，即双目立体视觉(Binocular Stereo Vision)。作为计算机立体视觉的一个重要研究分支，双目立体视觉广泛应用于工业测量、目标定位和三维重建等领域，其工作原理为：利用两台成像设备从不同位置拍摄同一对象，从而获得该对象的两个视点图像即立体图像对，通过对该立体图像对之间的差别进行分析，基于视差原理计算出该对象的三维几何信息。

图1示出了双目立体视觉的工作原理(为便于说明，这里以世界空间中的一点P(x,y,z)作为成像对象为例)：点P在两台成像设备的感光平面1和2上分别投影为P1和P2；感光平面1所采集到的、包括P1点的图像，以及感光平面2所采集到的、包括P2点的图像，共同构成立体图像对；分别作P1、P2与其各自成像设备焦点1、焦点2的连线，则这两条连线延长线的交点即为世界空间中的对象点P，基于此进行三维重构。

然而，由于计算机立体视觉的图像采集工作是由两台或多台成像设备分别独立进行，这就导致当各成像设备接收到的光照强度不同时，会造成所采集到的各视点图像存在亮度差异。而如果使用存在亮度差异的各视点图像直接进行立体匹配，则匹配效果往往很不理想，会大大增加最终三维重建的误差。

有鉴于此，现有立体视觉技术大多在采集到各视点图像以后，在预处理过程中采用图像处理算法进行图像亮度调节，以平衡各视点图像之间的亮度差异。但是这种方案存在以下问题：

1、调节效果受制于所采用的图像处理算法，有效性往往难以达到预期；

2、图像处理算法需要复杂的运算，会造成应用系统资源额外的、通常十分庞大的开销；

3、对于系统资源的大量消耗进一步导致三维重建处理效率的降低。

可见，现有的立体视觉技术对各视点图像之间亮度差异加以平衡的技术方案存在根本性的缺陷。

发明内容

为了解决该问题，本发明公开了一种平衡各视点图像间亮度差异的方法，适用于包括n个成像设备的立体视觉装置，包括以下步骤：

识别所述n个成像设备的感光平面的特定公共视场区域；

当对实际场景进行立体视觉成像时，获取每一成像设备所采集到的视点图像，并分析所述视点图像中相应的特定公共视场区域的电平量化值；

基于分析结果，根据预设规则对所述视点图像进行增益调整

其中，所述n≥2。

本发明还公开了一种平衡各视点图像间亮度差异的系统，适用于包括n个成像设备的立体视觉装置，包括：

识别单元，用于识别所述n个成像设备的感光平面的特定公共视场区域；

分析单元，用于当对实际场景进行立体视觉成像时，获取每一成像设备所采集到的视点图像，分析所述视点图像中相应的特定公共视场区域的电平量化值；

增益调整单元，用于基于分析结果，根据预设规则对所述视点图像进行增益调整；

其中，所述n≥2。

本发明还公开了一种立体视觉装置，包括：

n个成像设备，所述n≥2，其中任一所述成像设备均包括依次连接的图像采集器、模/数转换器、增益调整器以及数据传输接口，其中所述图像采集器和所述模/数转换器用于在对实际场景进行立体视觉成像过程中，采集视点图像并进行模/数转换；

还包括：

处理器，与所述n个成像设备的图像采集器、模/数转换器和增益调整器分别相连，用于识别所述n个成像设备的感光平面的特定公共视场区域，以及获取每一成像设备所采集到的、经模/数转换的视点图像，分析所述视点图像中相应的特定公共视场区域的电平量化值，并基于分析结果，根据预设规则指令所述增益调整器对所述视点图像进行增益调整。

通过本发明的技术方案，克服了现有技术中通过图像处理算法进行亮度调节所存在的缺陷，从根源上平衡立体视觉系统中各视点图像间的亮度差异，避免了庞大的系统开销；以及，由于特定公共视场区域的确定，排除了噪声干扰，并且直接选取更加精简的图像数据，进一步降低了系统消耗，提高了处理效率。

附图说明

图1双目立体视觉的原理示意图。

图2为本发明所提供的平衡各视点图像间亮度差异的方法的基本流程图。

图3a为本发明所提供的方法中对整个公共视场区域进行识别的实施例A的示意图；

图3b为本发明所提供的方法中对特定公共视场区域进行识别的实施例B的流程图；

图3c为本发明所提供的方法中对特定公共视场区域进行识别的实施例C的流程图；

图3d为本发明所提供的方法中对特定公共视场区域进行识别的实施例D的示意图；

图3e为本发明所提供的方法中对特定公共视场区域进行识别的实施例E的示意图；

图4为本发明所提供的平衡各视点图像间亮度差异的系统的框图；

图5为本发明所提供的立体视觉装置的原理性结构图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

为了彻底了解本发明，将在下列的描述中提出详细的结构。显然，本发明的施行并不限定于本领域的技术人员所熟习的特殊细节。本发明的较佳实施例会在下文中进行详细描述，然而除了这些详细描述外，本发明还可以具有其他实施方式。

以下结合附图对本发明的实施例做详细描述。

如图2所示，示出了本发明所提供的平衡各视点图像间亮度差异的方法的基本流程图。

其中，步骤S1为识别n个成像设备的感光平面的特定公共视场区域。

在本发明所提供的技术方案中，n等于或者大于2。本领域技术人员可以理解，当n为2时，为双目立体视觉，这样的立体视觉装置包括两台成像设备，当对同一对象进行拍摄时，同一时刻会获得两个视点图像即立体图像对，以基于该立体图像对进行三维重构。当n为3或3以上的数目时，为多目立体视觉，这样的立体视觉装置包括三台或三台以上成像设备，当对同一对象进行拍摄时，同一时刻会获得三个视点图像，以基于这些视点图像进行三维重构。

本领域技术人员还应当理解，立体视觉装置中的各成像设备其视场范围很难完全重合，而能够被用来进行三维重建的数据，来自于各不同视点图像中处于公共视场投影区域内的图像数据，而本发明所提供的技术方案在降低系统消耗、提高处理效率方面所进行的第一步就是对目标区域的限定操作，即锁定各成像设备的感光平面中的公共视场投影区域内的数据，排除不能够用来进行三维重建的噪声数据。

作为一个实施例A，当然可以将各设备的完整公共视场投影区域作为处理目标，也就是说，本发明所说的特定公共视场区域可以是公共视场在每一台成像设备的感光平面的完整投影区域，如图3a所示。

当然，当目标点离散在完整投影区域中时，后续图像帧数据提取工作仍可能因为数据量大而不利于处理。因此作为另一个实施例B，则可以在公共视场的基础上进行目标区域的进一步限定，如图3b所示。在图3b所示实施例中包括以下步骤：

S11、预设特定对象，使所述特定对象同时投影在所述n个成像设备的各感光平面上。

本领域技术人员可以进行可视操作，例如通过外置的监视器，通过调整该特定对象的位置，使其投影在n个成像设备对应的每一个的感光平面上；

本领域技术人员可以理解，当特定对象足够大并且放置的位置足够近时，在每个成像设备上的投影即为该成像设备的完整公共视场投影区域，即实施例A所例举的情况。

当然，本实施例B并不要求将完整公共视场投影区域作为特定视场区域，因此特定对象的大小和位置并不需要加以特别限制。当特定对象的投影只占公共视场投影区域的一部分时，可以进一步限定目标区域，从而进一步对平衡亮度差异的参考数据加以提炼和精简。

S12、将该特定对象在每一成像设备的感光平面的投影范围识别为相应成像设备的感光平面的特定公共视场区域。可以了解，当特定对象的体积越小或者位置越远，在每一成像设备的感光平面的投影就越小，则所确定的特定公共视场区域就越小，反之则越大。

S13、记录每一成像设备的特定公共视场区域。

具体的记录方法例如将每一成像设备的特定公共视场区域的边际像素坐标加以记录。但这种方式下，往往要求特定对象具有相对简单的外形例如球形、圆柱形、立方体等等，方便识别和记录。

但实际中出于接近拍摄现实需求角度的考虑，适合选用具有更加复杂外形的对象。为此，实施例C在实施例B的基础上，进一步包括步骤S10：对每一成像设备的感光平面进行预划分。

这样，步骤S12为步骤S12’：确定特定对象在每一成像设备的感光平面的投影范围所覆盖的预划分区域，并将所覆盖的预划分区域识别为相应成像设备的感光平面的特定公共视场区域。则步骤S13为步骤S13’：通过记录相应预划分区域来实现特定公共视场区域的记录，如图3c所示。

注意，图3c仅为示意，事实上步骤S10和步骤S11的顺序可调换，不影响本实施例技术方案的实现。

进一步的，为了更加便于识别和记录，预划分步骤可以包括划分为M×N个等分区域，其中M≥2，N≥2。这样，通过编号，可以很容易的记录特定公共视场区域覆盖了哪些预划分范围，而且便于数据提取和比较。

作为较佳实施例，可以按照n个成像设备的M值彼此相同，以及，n个成像设备的N值彼此相同来进行预划分。如图3d所示的实施例D，每个成像设备的M值均为3，N值均为4。

当然，上述实施例C和D意在示意较佳实施例。本领域技术人员可以理解，即使所划分的M×N个区域并不等分，或者n个成像设备中任一成像设备的M、N值均与其他成像设备不相关，也不影响本发明技术方案的实现。

再进一步的，特定公共视场区域可能不仅仅覆盖一个等分区域，也很有可能仅覆盖某一等分区域极小面积，而大部分面积都在于其他等分区域内，如图3d所示。这种情况下，由于所覆盖的两个等分区域内的数据均要被考虑，增大了处理的数据量。

因此，更佳实施例还包括通过调整立体视觉系统的参数使特定公共视场区域处于规定数目的等分区域内。这一参数可为内参数，例如成像设备的位置、角度。这一参数也可为外参数，例如特定对象的摆放位置。

规定数目可以根据实际需要选定，例如处于1个等分区域内。作为选择，也可以处于2个、3个、4个……等分区域内。

图3e示出了实施例E的示意图。在这一具体实施例中，作为示例的双目视觉系统中，两台成像设备的感光平面分别被划分为3行4列共12个区域，使用该系统观测某特定对象，从外部显示单元显示的图像中观测该特定对象在感光平面上投影的对应区域(1个或多个)。通过调整特定对象的位置，在本实施例中，最终使特定公共视场区域分别为4号区域和1号区域。

需要指出的是，为了便于图示，上述及以下实施例的示意图中均以双目立体视觉作为示例，但本领域技术人员显然可以理解多目立体视觉的原理与之相同。

还需要指出的是，在通过实施例A-E对步骤S1加以具体阐释后，本领域技术人员不难实现步骤S1及其各种变形。但必须理解的是，步骤S1是一个标定步骤，即本步骤发生在立体视觉装置的标定过程中。当执行一次步骤S1之后，只要立体视觉装置的参数没有发生变化，就可以反复进行后续的图像采集、分析和增益调整操作；反之，一旦立体视觉装置的参数发生变化，例如成像设备的焦距、相对位置、角度等等，必须重新执行步骤S1再进行后续步骤。事实上，由于立体视觉装置的参数也是后续立体匹配的必要参数，改变则后续匹配无法进行，因此必须返厂进行重新标定，因此步骤S1的重新执行依然会发生在重新标定过程中。此外，参数发生变化既可能是一个参数发生变化，也可能是某几个参数同时发生变化。

接下来，对后续的图像采集、分析和增益调整操作加以具体阐述，如下：

步骤S2、当对实际场景进行立体视觉成像时，获取每一成像设备所采集到的视点图像，并分析该视点图像中相应的特定公共视场区域的电平量化值；

其中分析电平量化值的方法包括但不限于平均测光、点测光、局部测光等等，具体的分析方法不影响本发明技术方案的实现和技术效果。但作为本发明技术方案的贡献之一，仅就特定公共视场区域的电平量化值进行分析。

但需要注意的是，本发明所提供的技术方案是以视点图像在特定公共视场区域内的电平量化值为参考进行后续的调整，即以公共视场区域的数值作为基准进行视点图像整体的增益调整。从这个意义上而言，作为参考的数据越丰富越具体则最后的调整结果就越接近理想状态。因此，这就意味着步骤S1中所选取特定公共视场区域越大，则调整结果会越好。然而，所选取特定公共视场区域越大，则会导致采样和运算量的加大，因此本领域技术人员可以基于本发明所提供的技术方案，按照实际需要来调节特定公共视场区域的大小。

S3、基于分析结果，根据预设规则对视点图像进行增益调整；

其中，分析结果是特定公共视场区域内的电平量化值。特别需要指出的是，该特定公共视场区域是公共视场中同一块区域在各感光平面上的投影，作为同一块区域，物理上其接受到的光照强度相同，为各视点图像增益调整的有效性和可靠性提供了基础。

其中，预设规则包括但不限于预设标准值、平均值、预先指定标准成像设备。

例如，可以是预设场景标准值，根据场景不同例如白天、夜间、室内、室外、晴天、阴天等等，分别设置标准值。当分析出电平量化值后，计算该电平量化值与标准值之间的差值，以该差值对输出的各视点图像进行增益调整。

例如，可以以n个成像设备的电平量化值的平均值为标准进行增益调整。即，获得各成像设备电平量化值的平均值，计算每个成像设备的电平量化值与平均值之间的差值；如果平均值高于该成像设备的电平量化值，则对该成像设备输出的图像进行增益补偿；反之，如果平均值低于该成像设备的电平量化值，则对该成像设备输出的图像进行增益衰减。

例如，可以预先指定n个成像设备中的某一个，以其电平量化值为标准进行增益调整。亦即，计算每个成像设备的电平量化值与该指定成像设备的电平量化值之间的差值；如果该指定设备的电平量化值高于该成像设备，则对该成像设备输出的视点图像进行增益补偿；反之，如果该指定设备的电平量化值低于该成像设备，则对该成像设备输出的视点图像进行增益衰减。

此外，增益调整可以具体为像素量化值调整，即对经过量化的像素值进行数值增减操作。

可以理解，上述例举的增益调整方式并未穷尽所有可能方式，本领域技术人员可以根据实际情况选取适当的增益调整方式。

综上所述，本发明所提供的平衡各视点图像间亮度差异的方法无需像现有技术那样，在采集到用于合成立体视觉图像的各视点图像后通过图像处理算法来进行亮度调节，而是基于对公共视场区域相同或大体相同部分的分析，通过硬件方式直接进行增益调整，因此不再受限于图像处理算法的有效性，从根源上平衡各视点图像间的亮度差异，同时也克服了应用图像处理算法所带来的庞大的系统开销和处理效率的降低问题；以及，由于选取公共视场区域内的数据作为参考，因此排除了噪声干扰即不在公共视场区域内的、其他位置亮度因素的影响；并且，直接选取特定公共视场区域内的数据加以分析，实现了图像数据的更加精简，进一步降低了系统消耗，提高了处理效率。

与本发明所提供的平衡各视点图像间亮度差异的方法相对应，本发明还提供了平衡各视点图像间亮度差异的系统，适用于包括n个成像设备的立体视觉装置。图4示出了该系统的一个实施例的框图，包括：

识别单元，用于识别n个(n≥2)成像设备的感光平面的特定公共视场区域；

分析单元，用于当对实际场景进行立体视觉成像时，获取每一成像设备所采集到的视点图像，并分析每一个视点图像中相应的特定公共视场区域的电平量化值；

增益调整单元，用于基于分析结果，根据预设规则对每一个视点图像进行增益调整。

本领域技术人员可以理解，本发明所提供的平衡各视点图像间亮度差异的系统中，各单元的具体实现方案和可能实施例同样适用于相应方法部分所阐述的内容，并达至相同的技术效果，因此不再赘述。但需要加以强调的是，本发明所提供的平衡各视点图像亮度差异的系统可以适合任何现有的双目/多目立体视觉装置，用于在其中进行所获取视点图像间亮度差异的处理。

进一步的，本发明还提供了一种立体视觉装置。图5示出了该装置一个实施例的框图。

在该立体视觉装置中，包括：

n个成像设备10(1)……10(n)，其中n≥2；

对于任一成像设备，均包括依次连接的图像采集器11、模/数转换器12、增益调整器13以及数据传输接口14，其中在对实际场景进行立体视觉成像过程中，图像采集器11用于采集视点图像电信号，每个模/数转换器12将电信号量化为数字信号，每个增益调整器13用于对数字信号进行增益调整；

处理器20，分别与该n个成像设备10(1)……10(n)的图像采集器11连接，用于识别所述n个成像设备的感光平面的特定公共视场区域(例如是预划分区域的序号)；分别与该n个成像设备10(1)……10(n)的模/数转换器12和增益调整器13连接，用于获取各图像采集器11所采集到的、经模/数转换器12所量化的视点图像，分析视点图像中相应的特定公共视场区域的电平量化值，以及根据预设规则确定增益调整值并输出给增益调整器13进行增益调整；

经过增益调整后的各视点图像经过数据传输接口14，输出给三维重构处理器及显示器，进行后续的三维重构处理和最终显示。

同样的，处理器20的具体处理方式同样适用于相应方法部分所阐述的内容，并达至相同的技术效果，因此不再赘述。

有必要指出的是，三维重构处理器可以作为立体视觉装置的一部分，内置或外接于立体视觉装置，通过数据传输接口14分别与该n个成像设备连接。或者，立体视觉装置本身并不包括三维重构处理器，三维重构处理可以由其他设备基于立体视觉装置处理后的数据来完成。

类似的，显示器也可以作为立体视觉装置的一部分，内置或外接于立体视觉装置，与三维重构处理器连接。或者，立体视觉装置本身并不包括显示器，显示由其他专用的显示设备完成。

因此，本发明所提供的立体视觉装置可以适用于不同场合。例如，工业上的三维重建、立体测量等领域的立体视觉装置一般不带显示器，当设备与电脑相连接时，进行三维重建处理和显示。再例如，拍摄3D照片的立体相机本身带有三维重构处理器和显示屏。

显然，本发明所提供的方法和系统同样可以适用于上述各种不同的场合。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (12)

1.一种平衡各视点图像间亮度差异的方法，适用于包括n个成像设备的立体视觉装置，其特征在于，包括以下步骤：

识别所述n个成像设备的感光平面的特定公共视场区域，所述特定公共视场区域包括公共视场在每一台成像设备的感光平面的完整或部分投影区域；

当对实际场景进行立体视觉成像时，获取每一成像设备所采集到的视点图像，分析所述视点图像中相应的特定公共视场区域的电平量化值；

基于分析结果，根据预设规则对所述视点图像进行增益调整；

其中，所述n≥2。

2.根据权利要求1所述的方法，其特征在于，所述识别所述n个成像设备的感光平面的特定公共视场区域的步骤包括：

预设特定对象，使所述特定对象同时投影在所述n个成像设备的各感光平面上；

将所述特定对象在每一成像设备的感光平面的投影范围识别为相应成像设备的感光平面的特定公共视场区域；

记录每一成像设备的所述特定公共视场区域。

3.根据权利要求2所述的方法，其特征在于，所述识别所述n个成像设备的感光平面的特定公共视场区域的步骤还包括对每一成像设备的感光平面进行预划分的步骤，则将所述特定对象在每一成像设备的感光平面的投影范围识别为相应成像设备的感光平面的特定公共视场区域的步骤为：确定所述特定对象在每一成像设备的感光平面的投影范围所覆盖的预划分区域，并将所覆盖的预划分区域识别为相应成像设备的感光平面的特定公共视场区域。

4.根据权利要求3所述的方法，其特征在于，所述预划分包括划分为M×N个等分区域；其中，所述M≥2，所述N≥2。

5.根据权利要求4所述的方法，其特征在于，所述n个成像设备的M值相同，以及，所述n个成像设备的N值相同。

6.根据权利要求4所述的方法，其特征在于，所述识别所述n个成像设备的感光平面的特定公共视场区域的步骤还包括通过调整所述立体视觉装置的参数使所述特定公共视场区域处于设定数目的等分区域内。

7.根据权利要求1－6任一所述的方法，其特征在于，所述识别所述n个成像设备的感光平面的特定公共视场区域的步骤发生在所述立体视觉装置的标定过程中，并且当所述立体视觉装置的参数发生变化时重新进行。

8.根据权利要求1-6任一所述的方法，其特征在于，所述预设规则包括但不限于预设标准值、平均值、预先指定标准成像设备。

9.一种平衡各视点图像间亮度差异的系统，适用于包括n个成像设备的立体视觉装置，其特征在于，包括：

识别单元，用于识别所述n个成像设备的感光平面的特定公共视场区域，所述特定公共视场区域包括公共视场在每一台成像设备的感光平面的完整或部分投影区域；

分析单元，用于当对实际场景进行立体视觉成像时，获取每一成像设备所采集到的视点图像，并分析所述视点图像中相应的特定公共视场区域的电平量化值；

增益调整单元，用于基于分析结果，根据预设规则对所述视点图像进行增益调整；

其中，所述n≥2。

10.一种立体视觉装置，其特征在于，包括：

n个成像设备，所述n≥2，其中任一所述成像设备均包括依次连接的图像采集器、模/数转换器、增益调整器以及数据传输接口，其中所述图像采集器和所述模/数转换器用于在对实际场景进行立体视觉成像过程中，采集视点图像并进行模/数转换；

还包括：

处理器，与所述n个成像设备的图像采集器、模/数转换器和增益调整器分别相连，用于识别所述n个成像设备的感光平面的特定公共视场区域，以及获取每一成像设备所采集到的、经模/数转换的视点图像，分析所述视点图像中相应的特定公共视场区域的电平量化值，并基于分析结果，根据预设规则指令所述增益调整器对所述视点图像进行增益调整，所述特定公共视场区域包括公共视场在每一台成像设备的感光平面的完整或部分投影区域。

11.根据权利要求10所述的立体视觉装置，其特征在于，还包括内置或外接的三维重构处理器，通过所述数据传输接口分别与所述n个成像设备连接。

12.根据权利要求11所述的立体视觉装置，其特征在于，还包括内置或外接的显示器，与所述三维重构处理器连接。