CN105335934A - 视差图计算方法和装置 - Google Patents

Abstract

提供了视差图计算方法和装置。获得目标场景的当前帧的左右灰度图像以及在当前帧之前的预定数量帧的历史信息；以所述左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像生成当前帧的初始视差图；基于该预定数量帧的历史信息对该参考图像进行分割；根据分割结果优化该初始视差图，将优化后的视差图作为当前帧的视差图。

Description

视差图计算方法和装置

技术领域

本申请涉及视差图计算方法和装置，更具体地，涉及基于历史信息计算视差图的方法和装置。

背景技术

近年来，立体视觉技术获得广泛关注。立体视觉的基本原理是结合两个(双目)或更多视点的信息，以获得不同视角下同一物体的图像，并利用三角测量原理来计算图像的像素点之间的位置偏差，从而获得物体的立体信息。该立体视觉包括图像获取、摄像机定标、特征提取、立体匹配、深度及内插等处理，其中，通过立体匹配技术得到的视差信息(深度信息)可用来估量摄像机和物体之间的相对距离。这些视差信息可以应用于诸多场合，例如三维电影、机器人、监控、基于三维技术的道路检测、行人检测、自动驾驶、智能车辆控制等等。例如，在智能车辆控制中，基于通过视差信息获得的视差图，可以很容易地检测到路面上的包括行人和车辆等的目标，从而可以基于检测结果对车辆进行智能控制。可见，获得鲁棒和准确的视差图在立体视觉中起着重要的作用。

通常，立体匹配技术可以分成两类，一类是朴素的基于像素的算法，另一类是基于分割的算法。基于像素的算法单独考虑每个像素。如图1所示，基于像素的算法为像素P和Q单独寻找对应像素，实际上，P和Q均位于路面区域，它们的视差值之间满足某种特定关系。基于像素的算法需要很长的处理时间。

另外一种常用的算法是基于分割的算法。该算法的基本思想是根据参考图像的灰度值将参考图像分割为区块，对同一区域块内的所有像素一起进行考虑，即利用区域块内有效像素的视差值来估计每个区域块的视差分布。图2为典型的基于分割的立体匹配算法的系统框图，该算法包括对参考图像进行分割，根据参考图像和目标图像计算初始视差值获得初始视差图像，对每个分割的区域块计算视差值从而利用计算的视差值更新初始视差图像来获得视差图像。

基于分割的算法在很大程度上解决了基于像素的算法所存在的问题：处理时间过长。但是，典型的基于分割的立体匹配算法有些盲目，仅仅基于灰度值的分割结果常常不太可靠，得到的视差图可能不够准确。

发明内容

鉴于现有技术中的上述问题，本申请提出了基于历史信息的视差图计算方法及装置。

根据本发明的一个方面，提供了视差图计算方法，该方法可以包括：获得目标场景的当前帧的左右灰度图像以及在当前帧之前的预定数量帧的历史信息；以所述左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像生成当前帧的初始视差图；基于该预定数量帧的历史信息对该参考图像进行分割；根据分割结果优化该初始视差图，将优化后的视差图作为当前帧的视差图。

根据一个实施例，该历史信息可以包括目标场景中的对象的位置信息、历史视差分布信息以及运动特征信息。

根据一个实施例，基于该预定数量帧的历史信息对该参考图像进行分割的步骤可以包括：根据目标场景中的对象在该预定数量帧中的位置信息和该对象的运动特征信息预测对象在当前帧中的位置；基于该预定数量帧中的对象的历史视差分布信息和所预测的对象在当前帧中的位置，获得用于对该参考图像中的预测对象区域进行分界的分界线；在该参考图像中的分界线附近进行边缘检测；根据边缘检测结果分割参考图像。

根据一个实施例，根据分割结果优化该初始视差图的步骤可以包括通过在分割的区域内传播所述初始视差图中的相应视差值以获得优化的视差图。

根据一个实施例，该视差图计算方法还可以包括：根据该预定数量帧中的对象的历史视差分布信息建立对象表面的视差分布模型；以及通过将传播的视差值与所建立的视差分布模型进行匹配而获得对象的视差图。

根据一个实施例，可以采用中值滤波方法来在分割的区域内传播相应视差值。

根据一个实施例，可以利用canny算子方法来进行边缘检测。

根据一个实施例，可以利用立体匹配算法基于所获得的左右灰度图像生成当前帧的初始视差图。

根据一个实施例，该视差图计算方法还可以包括：根据所获得的当前帧的视差图进行目标场景中的对象的检测和跟踪，并将该检测和跟踪结果存储，作为当前帧的历史信息。

根据本发明的另一方面，提供了视差图计算装置，该装置可以包括：获得部件，用于获得目标场景的当前帧的左右灰度图像以及在当前帧之前的预定数量帧的历史信息；生成部件，用于以所述获得部件所获得的左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像生成当前帧的初始视差图；分割部件，用于基于所述获得部件所获得的该预定数量帧的历史信息对该参考图像进行分割；优化部件，用于根据所述分割部件的分割结果优化该初始视差图，将优化后的视差图作为当前帧的视差图。

根据本发明的视差图计算方法和装置，可以在分割参考图像时参考在前帧的历史信息，使得分割结果更准确，由此根据分割结果优化当前帧的初始视差图，可以获得更加准确的当前帧的视差图。

附图说明

图1是基于像素的立体匹配算法的示意图。

图2是基于分割的立体匹配算法的示意图。

图3是本发明的实施例可应用的硬件系统的框图。

图4是根据本发明的一个实施例的视差图计算方法的流程图。

图5示出了示例的场景及相应的初始视差图。

图6是根据本发明的一个实施例的参考图像分割方法的流程图。

图7是根据本发明的另一实施例的视差图计算装置的框图。

具体实施方式

现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但是可以理解，不意图将本发明限于所公开的具体实施例。应注意，在此所述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

如上所述，典型的基于分割的方法过于盲目，基于灰度值的分割结果常常不太可靠。然而，如果能够获得目标场景的之前帧的历史信息并利用该历史信息对参考图像进行分割，则获得的视差图将更加准确。根据本发明，基于之前帧的历史信息对参考图像进行分割，根据分割结果优化初始视差图以获得当前帧的视差图，从而获得更加准确的视差图，以下详细描述。

首先参考图3，描述应用于本发明的实施例的硬件系统300的框图。

硬件系统300包括：立体相机310，用于从两个或更多视点拍摄两个或更多图像；解码器320，用于从立体相机310拍摄的图像中提取与像素相关的图像信息，例如灰度信息、彩色信息等；处理器330，用于对解码器320输出的各种信息进行处理；存储器340，与处理器130耦合，用于存储由处理器330处理的数据以及向处理器330提供数据。

根据本发明的实施例的视差图计算方法可以实现在图3所示的处理器330中。当然，这仅仅是一个例子，其实现方式不限于此。

以下参考图4的流程图描述根据本发明的一个实施例的视差图计算方法400。

如图4所示，配置视差值的方法400可以包括：

步骤410，获得目标场景的当前帧的左右灰度图像以及在当前帧之前的预定数量帧的历史信息；

步骤420，以所述左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像生成当前帧的初始视差图；

步骤430，基于所获得的该预定数量帧的历史信息对该参考图像进行分割；

步骤440，根据分割结果优化该初始视差图，将优化后的视差图作为当前帧的视差图。

在上述的步骤410中，可以通过任何已知的方法获得当前帧的左右灰度图像。例如，可以通过双目相机对目标场景进行拍摄以获得目标场景的左眼图像和右眼图像。

另外，获得目标场景的当前帧之前的预定数量帧的历史信息。该历史信息可以是在之前帧的视差图中的对象检测结果，例如，该历史信息可以包括但不限于目标场景中的对象的位置信息、视差分布信息以及运动特征信息等等。该历史信息可以存储在存储器340中并且在需要时由处理器330从该存储器340中读取。该预定数量帧可以是一帧或多帧，只要可以从该历史信息分析出目标场景中的对象的位置信息、视差分布信息以及运动特征信息等等即可。

例如，在应用于智能车辆控制的情况下，在车辆上安装立体相机，其连续地拍摄前方的目标场景以获得左右灰度图像，此时的历史信息可以包括根据视差图在之前帧中检测到的目标场景中的如车辆、行人等对象的位置、这些对象的视差分布信息以及它们的运动速度、运动方向等等。当然，这仅仅是举例，根据具体应用，可以保存任何其他需要的信息作为历史信息。

在步骤420，以获得的左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像生成当前帧的初始视差图。例如，获得目标场景的左右眼图像之后，可以取其中的任意一个、例如左眼图像作为参考图像，则右眼图像作为目标图像，或可以取右眼图像作为参考图像，则左眼图像作为目标图像。

例如，可以采用如之前所述的朴素的立体匹配算法基于左右灰度图像来生成初始视差图：对于参考图像中的每个像素p，将p的灰度值与目标图像中同一水平扫描线上的每个像素值进行比较，选择与p灰度值最相似的点作为匹配点，参考图像中p的水平坐标与目标图像中匹配点水平坐标值差的绝对值即为p点的视差值。图5给出了一个示例的场景及其初始视差图。

当然，获取初始视差图的方法不限于此，还可以通过本领域中已知的任何其他方法而基于左右灰度图像生成当前帧的初始视差图。

然后，在步骤430，基于所获得的预定数量帧的历史信息对该参考图像进行分割。

在如上所述的典型的基于灰度值的分割方法中，根据图像的灰度信息将参考图像分割为对象和背景的不同区块。例如，可以采用的分割方法可以包括基于canny算子的边缘分割，基于区域的分裂与合并方法，分水岭算法，蛇形算法等。

然而，根据本申请，在对参考图像进行分割时，参考之前帧的历史信息。图6示出了根据本申请的一个实施例的参考图像分割方法。具体地，如图6所示，该参考图像分割方法600包括以下步骤：

步骤610，根据目标场景中的对象在该预定数量帧中的位置信息和该对象的运动特征信息预测对象在当前帧中的位置；

步骤620，基于该预定数量帧中的对象的历史视差分布信息和所预测的对象在当前帧中的位置，获得用于对该参考图像中的预测对象区域进行分界的分界线；

步骤630，在该参考图像中的分界线附近进行边缘检测；

步骤640，根据边缘检测结果分割参考图像。

在步骤610中，例如，可以利用历史信息中所包括的对象的运动特征信息来估计当前帧中的对象的位置从前一帧的位置的偏移量，并根据估该历史信息中所包括的对象在前一帧中的位置结合所估计的对象的偏移量来预测对象在当前帧中的位置。

然后，在步骤620中，基于所获得历史信息中所包括的对象的历史视差分布信息以及在步骤610中所预测的对象在当前帧的位置，可以获得对象区域的大致轮廓。因为属于同一对象的区域观测点的距离通常而言到是基本相同的，那么属于该对象的像素点通常具有基本相同的视差值，由此就可以根据对象的历史视差分布信息以及预测的对象在当前帧中的位置而预测出当前帧的参考图像中的大致的对象区域(也称为预测对象区域)，从而获得用于对该参考图像中的预测对象区域进行分界的分界线。

然后，在步骤630中，可以在步骤620中所获得的分界线处进行边缘检测，以进一步细化用于分割参考图像的分界线。可以采用现有的边缘检测方法进行此检测，例如，canny算子方法等等。

检测到的边缘构成了用于分割对象的边界线，从而，在步骤640中，可以根据步骤630中的边缘检测结果来分割该参考图像，以获得参考图像分割结果。

由此，根据该参考图像分割方法600，可以基于所获得的预定数量帧的历史信息对参考图像进行分割，获得分割结果。

回到方法400，在步骤440，可以根据上述的分割结果优化初始视差图，将优化的视差图作为当前帧的视差图。例如，可以在每个分割的对象区域中传播该对象的视差值，该对象的视差值可以从该初始视差图获得。传播的方法可以采用基于滤波器的方法，例如可以采用中值滤波方法来在分割的区域内传播相应视差值。当然，传播视差值的方法不限于此，本领域技术人员可以利用本领域中已知的其他方法。

经过视差值传播，优化了初始视差图，然后可以输出优化后的视差图作为当前帧的视差图。

从而，根据本申请的视差图计算方法400，基于历史信息对参考图像进行分割，并根据分割结果传播视差值，从而获得优化的视差图。

进一步，在某些情况下，许多对象的表面并不是平坦光滑的，有时视差值的计算结果也不是非常鲁棒的，因此当计算得到的物体视差值不一致时，我们无法判断是由于物体表面真实的凹凸不平造成的，还是视差计算和传播不精确造成的。

考虑到此情况，可选地，根据本申请的另一实施例，可以通过分析历史信息而进一步提高视差图的精确性。例如，可以读取存储器140中存储的之前的预定数量帧的历史信息，根据该预定数量帧中的对象的历史视差分布信息，建立对象表面的视差分布模型，并通过将传播的视差值与所建立的视差分布模型进行匹配，以获得对象的视差图。

在根据上述的视差图计算方法400获得当前帧的视差图之后，处理器330可以根据所获得的当前帧的视差图进行目标场景中的对象的检测和跟踪。例如，在如上所述的智能车辆控制的情况下，该检测和跟踪结果可以包括在目标场景中检测到的诸如其他车辆以及行人的对象的位置、对象的运动速度、运动方向、当前车辆与对象之间的距离等等。将该检测和跟踪结果提供给车辆控制系统，以便基于该结果进行自动车辆控制，在必要的情况下采取相应的措施。

除此之外，该检测和跟踪结果还可以包括在目标场景中检测到的对象的位置的视差分布等等的信息。将该检测和跟踪结果存储到存储器340中，作为当前帧的历史信息，以便在计算下一帧的视差图时参考该历史信息。

例如，在上述的应用于智能车辆控制的情况下，在根据本申请的视差图计算方法基于历史信息对参考图像进行分割时，还可以参考当前车辆的诸如运动速度、角速度等等的信息，以便更加准确地估计对象的偏移量。

另外，在开始计算视差图时，对于初始的预定数量的帧，可能不存在可供参考的历史信息。在此情况下，在对参考图像进行分割时，可以采用传统的基于灰度值的分割方法，这包括但不限于如上所述的基于canny算子的边缘分割，基于区域的分裂与合并方法，分水岭算法，蛇形算法等。

因此，在本申请的视差图计算方法的一个可选实施例中，可以首先判断存储器340中是否存在可供使用的之前帧的历史信息。如果存在，则进行如上所述的视差图计算方法400。否则，获得目标场景的当前帧的左右灰度图像，以所述左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像计算当前帧的初始视差图，并根据现有方法对该参考图像进行分割，根据分割结果传播视差值以优化该初始视差图，将优化的视差图作为当前帧的视差图。另外，根据当前帧的视差图进行如上对象检测和跟踪，存储该检测跟踪结果。由此，在预定数量的初始帧之后，存储了这些帧的对象检测信息，可供在对随后帧计算视差图时用作历史信息。

根据本发明的另一实施例，提供了视差图计算装置。图7示出了根据本发明的另一实施例的视差图计算装置700的框图。如图7所示，装置700可以包括：获得部件710，用于获得目标场景的当前帧的左右灰度图像以及在当前帧之前的预定数量帧的历史信息；生成部件720，用于以所述获得部件710所获得的左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像生成当前帧的初始视差图；分割部件730，用于基于所述获得部件710所获得的该预定数量帧的历史信息对该参考图像进行分割；优化部件740，用于根据所述分割部件730的分割结果优化该初始视差图，将优化后的视差图作为当前帧的视差图。

其中，该分割部件730可以根据所述获得部件710所获得的预定数量帧的历史信息中所包括的对象在该预定数量帧中的位置信息和该对象的运动特征信息预测对象在当前帧中的位置，基于该预定数量帧中的对象的历史视差分布信息和所预测的对象在当前帧中的位置，获得用于对该参考图像中的预测对象区域进行分界的分界线，并在该参考图像中的分界线附近进行边缘检测，从而根据边缘检测结果分割参考图像。

由此，根据本申请的视差图计算方法和装置，参考之前的预定数量帧的历史信息来分割当前帧的参考图像，由此优化当前帧的初始视差图，使得所获得的当前帧的视差图更加准确。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子，并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子，并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (10)

1.一种视差图计算方法，包括：

获得目标场景的当前帧的左右灰度图像以及在当前帧之前的预定数量帧的历史信息；

以所述左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像生成当前帧的初始视差图；

基于该预定数量帧的历史信息对该参考图像进行分割；

根据分割结果优化该初始视差图，将优化后的视差图作为当前帧的视差图。

2.如权利要求1所述的方法，其中所述历史信息包括目标场景中的对象的位置信息、历史视差分布信息以及运动特征信息。

3.如权利要求2所述的方法，其中所述基于该预定数量帧的历史信息对该参考图像进行分割包括：

根据目标场景中的对象在该预定数量帧中的位置信息和该对象的运动特征信息预测对象在当前帧中的位置；

基于该预定数量帧中的对象的历史视差分布信息和所预测的对象在当前帧中的位置，获得用于对该参考图像中的预测对象区域进行分界的分界线；

在该参考图像中的分界线附近进行边缘检测；

根据边缘检测结果分割参考图像。

4.如权利要求3所述的方法，其中所述根据分割结果优化该初始视差图包括通过在分割的区域内传播所述初始视差图中的相应视差值以获得优化的视差图。

5.如权利要求4所述的方法，还包括：

根据该预定数量帧中的对象的历史视差分布信息建立对象表面的视差分布模型；以及

通过将传播的视差值与所建立的视差分布模型进行匹配而获得对象的视差图。

6.如权利要求3所述的方法，其中采用中值滤波方法来在分割的区域内传播相应视差值。

7.如权利要求3所述的方法，其中利用canny算子方法来进行边缘检测。

8.如权利要求1所述的方法，其中利用立体匹配算法基于所获得的左右灰度图像生成当前帧的初始视差图。

9.如权利要求1所述的方法，还包括：根据所获得的当前帧的视差图进行目标场景中的对象的检测和跟踪，并将该检测和跟踪结果存储，作为当前帧的历史信息。

10.一种视差图计算装置，包括：

获得部件，用于获得目标场景的当前帧的左右灰度图像以及在当前帧之前的预定数量帧的历史信息；

生成部件，用于以所述获得部件所获得的左右灰度图像的任意一个作为参考图像，从所获得的左右灰度图像生成当前帧的初始视差图；

分割部件，用于基于所述获得部件所获得的该预定数量帧的历史信息对该参考图像进行分割；

优化部件，用于根据所述分割部件的分割结果优化该初始视差图，将优化后的视差图作为当前帧的视差图。