CN109584166A - 视差图稠密化方法、装置和计算机可读存储介质 - Google Patents

Abstract

提供了视差图稠密化方法、装置和计算机可读存储介质。该视差图稠密化方法可以包括：根据目标场景的左右图像计算初始视差图；根据像素相似性，将左右图像中的参考图像分割为多个像素块；以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；利用所估计的视差值填充该初始视差图，以获得稠密视差图。

Description

视差图稠密化方法、装置和计算机可读存储介质

技术领域

本公开涉及计算机视觉领域，更具体地，涉及对稀疏视差图进行稠密化的方法、装置和计算机可读存储介质。

背景技术

立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息，使得人们能够获取物体和场景中的深度信息，其在三维环境感知与建模、机器人导航、物体跟踪与检测以及图像分割等领域具有重要应用。立体匹配是立体视觉的关键技术之一，它通过对两幅或者多幅图像进行像素配准，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，来获取像素的深度信息。

在立体视觉的应用领域中，一般都需要稠密的深度图或视差图以准确获知深度信息。基于特征匹配的算法得到的仅是一个稀疏而且分布并不均匀的视差图。在这种意义下，基于区域相关匹配的算法更适合于获得稠密的视差图，但是该方法在那些几乎没有信息的区域上的匹配往往不可靠。

而且，在利用左右图像的立体匹配过程中，由于遮挡等原因，有一些像素点只存在于其中的一幅图像中，在另一幅图像中不存在对应的匹配点，这种情况下会产生匹配错误。另外，包括弱纹理、重复纹理等的一些其他原因也会导致匹配错误。因而，传统的BM、SGBM算法所计算出的是稀疏或者半稠密的视差图，其中包含因匹配错误而导致的一些无视差值的像素点，这样的像素点可以称为视差空洞。

发明内容

因此，需要能够对稀疏视差图中的无视差值的像素点进行填充以产生稠密视差图的技术。

有鉴于上述情况，根据本公开的一个方面，提供了一种视差图稠密化方法，该方法可以包括：根据目标场景的左右图像计算初始视差图；根据像素相似性，将左右图像中的参考图像分割为多个像素块；以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；利用所估计的视差值填充该初始视差图，以获得稠密视差图。

在一个可选的实施例中，可以对所述参考图像进行超像素分割以获得多个超像素块。

在一个可选的实施例中，可以利用三角剖分法将每个像素块划分为多个三角形区域。

在一个可选的实施例中，估计落在该区域内的在该初始视差图中无视差值的像素的视差值可以包括：基于三角形区域的三个顶点像素的视差值，计算该三角形区域的代表视差值；对该代表视差值进行优化，将优化后的代表视差值作为该无视差值的像素的视差值。

在一个可选的实施例中，可以将三角形区域的三个顶点像素的视差值的中值作为该三角形区域的代表视差值。在另一可选的实施例中，可以将三角形区域的三个顶点像素的视差值的平均值作为该三角形区域的代表视差值。

在一个可选的实施例中，对该代表视差值进行优化可以包括：在每个像素块内，以每个三角形区域作为节点，以该三角形区域的代表视差值作为该节点的视差值，计算相邻三角形节点之间的相似性；基于每个像素块内的节点的视差值以及节点之间的相似性，设置能量函数和节点的视差值更新函数；迭代地计算每个节点的视差更新函数值以降低该能量函数的值，直到满足预定迭代终止条件；将每个节点的满足所示预定迭代终止条件的视差更新函数值作为优化后的代表视差值。

该预定迭代终止条件可以包括但不限于：所述能量函数的变化小于第一预定阈值、每个节点视差值的变化小于第二预定阈值、或者迭代达到预定次数。

根据本公开的另一方面，提供了一种视差图稠密化装置，该装置可以包括：计算部件，用于根据目标场景的左右图像计算初始视差图；分割部件，用于根据像素相似性，将左右图像中的参考图像分割为多个像素块；再分部件，用于以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；估计部件，用于根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；以及稠密化部件，用于利用所估计的视差值填充该初始视差图，以获得稠密视差图。

根据本公开的另一方面，提供了一种用于视差图稠密化的设备，该设备可以包括：存储器，存储计算机程序指令；以及处理器，耦合到该存储器，该处理器配置为运行所述计算机程序指令以执行以下处理：根据目标场景的左右图像计算初始视差图；根据像素相似性，将左右图像中的参考图像分割为多个像素块；以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；利用所估计的视差值填充该初始视差图，以获得稠密视差图。

根据本公开的另一方面，提供了一种计算机可读存储介质，存储有计算机程序指令，所述计算机程序指令在被计算机运行时使得计算机执行如下处理：根据目标场景的左右图像计算初始视差图；根据像素相似性，将左右图像中的参考图像分割为多个像素块；以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；利用所估计的视差值填充该初始视差图，以获得稠密视差图。

根据本公开实施例的用于用于视差图稠密化的方法、装置和计算机可读存储介质，在获得初始视差图之后，将参考图像划分为像素块，根据每个像素块内具有视差值的像素点的分布，将像素块再分为多个区域，以该区域为单位对无视差值的像素点进行视差值估计，利用估计的视差值对初始视差图进行填充，以获得稠密视差图。由于以再分的区域为单位而不是以像素块为单位对无视差值的像素点进行视差值估计，克服了因像素块划分不理想而导致同一个超像素块内的像素可能对应不同物体的表面的问题，能够获得准确的稠密视差图。

要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤，其中：

图1是根据本公开一个实施例的视差图稠密化方法的流程图；

图2是示出示例目标场景的初始视差图的示例的视图；

图3是示出根据本公开实施例的参考图像的超像素分割的结果的示例的视图；

图4是示出估计本公开实施例的三角剖分的结果的示例的视图；

图5是示出根据本公开实施例的用于对代表视差值进行优化的方法的示例的流程图；

图6是示出根据本公开一实施例的用于视差值稠密化的装置的主要配置的框图；

图7是示出根据本公开一实施例的用于视差图稠密化的设备的主要配置的框图。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。

首先，参考图1描述根据本公开一个实施例的视差图稠密化方法。

图1是根据本公开一个实施例的视差图稠密化方法的流程图。如图1所示，该视差图稠密化方法100可以包括步骤S110至步骤S150。

在步骤S110，根据目标场景的左右图像计算初始视差图。

目标场景的左右图像(也称为立体图像)可以从立体相机或者其他设备获得。立体相机通常由两个型号相同的相机组成，并且左右安装且其光轴相互平行。这两个相机同时对目标场景进行拍摄，目标场景中的同一物体在左右相机所成的图像中对应不同的像素点，其坐标也各不相同，两个相应的像素点的横坐标之间的差值称为视差。

在利用左右图像计算视差图之前，可以对左右图像进行立体校正以得到行对齐的立体图像。可以根据相机的标定参数对立体图像对进行立体校正，相机的标定参数可以预先获得。经过立体校正后，行对齐的左右图像的对应像素会落在同一行中。

从而，可以利用经过校正的立体图像进行视差图的计算。存在多种可以选择的立体匹配方法来从立体图像计算视差图。在一个示例中，可以采用SGBM(Semi-Global BlockMatching，半全局块匹配)算法，以左右图像中的任一图像、比如左图像为参考图像，进行立体匹配。利用该算法得到的视差图是稀疏的，我们称之为初始视差图。当然，初始视差图的计算也可以采用任何其他立体匹配算法。

图2示出了示例目标场景的初始视差图的示例。如图2所示，在该视差图中，较亮的区域代表视差值较大，较暗的区域则表示视差值较小。另外，该视差图中存在一些黑色的部分，其表示因为遮挡、弱纹理等原因而导致无法通过立体匹配算法计算得到视差值的像素，我们将其称为视差空洞。

为了获得稠密视差图，需要填充在步骤S110中所计算的初始稀疏视差图中的视差空洞。在本实施例中，考虑到在图像中对应同一物体的像素点具有相似性，即它们的颜色接近并且在空间位置上接近，对应同一物体的像素点的视差应该具有连续的视差值，并且在一定的小区域内视差值的差别不大，因此可以利用视差空洞附近的像素点的视差值对视差空洞进行填充。

为此，在步骤S120中，根据像素相似性，将左右图像中的参考图像分割为多个像素块。

在如上所述选择左图作为参考图像的情况下，对该参考图像进行分割。该分割基于像素相似性进行，将颜色相似并且在参考图像上位置接近的像素聚类在一个像素块内。

存在多种可供选择的像素分割方法。一种常用的方法是超像素分割，得到多个超像素块。可以预先指定所分割的超像素块的数量，或者，也可以自动进行分割。每个超像素块内的像素具有相似的颜色，并且它们的位置在图像平面上邻近。

作为一个非限制性的示例，可以采用SLIC(Simple Linear Iterative Cluster，简单线性迭代聚类)算法进行超像素分割。这是一种简单且高效的超像素分割算法，其利用像素的颜色和空间位置信息进行聚类，可以将图像分割为若干个超像素块。在该算法中，超像素块的数量需要预先指定。

图3示出了根据本公开实施例的参考图像的超像素分割的结果的示例。

通常，一个超像素块内的像素对应于场景中的同一个物体表面。因此，同一超像素块内的像素应该具有相似的视差值。然而，在实际的超像素分割结果中，可能会产生一些不理想的超像素块，同一个超像素块内的像素对应不同物体的表面，其视差值也并不相同。如果仅以每个超像素块为单位对视差空洞进行插值填充，则计算的视差空洞的像素值可能并不准确。

考虑到此，本公开对在步骤S120中分割得到的每个像素块再次进行划分。具体地，在步骤S130中，根据每个像素块内具有视差值的像素点的分布，以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域。

在一个可选的实施方式中，可以利用三角剖分法对超像素分割所得到的超像素块进行进一步的分割，以获得多个三角形区域。存在多种可供选择的三角剖分方法。例如，可以取每个超像素块内具有视差值的像素点作为三角剖分的备选顶点，采取Delaunay三角剖分法将所有备选点连接成若干个三角形。从而，具有视差值的像素点成为三角形的顶点，而由于遮挡、弱纹理等原因而无法计算出视差值的像素点必将落在某个三角形区域内(包括落在三角形的边上)。

图4示出了本公开实施例的三角剖分的结果的示例。如图4所示，左图中黑色的像素点代表具有视差值的点，这也是各三角形的顶点，右图中较大的黑色像素点代表视差空洞点，每个视差空洞点必将会落在某个三角形区域内。

由于每一个无法计算出视差值的像素点必然会落在某个包含准确视差值的小区域(比如以上的三角形区域)内，因此，在步骤S140中，可以根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值。

在一个可选的实施方式中，可以基于三角形区域的三个顶点像素的视差值，计算该三角形区域的代表视差值，将该代表视差值作为落在该三角形区域内的无视差值的像素的视差值。

作为一个示例，可以将三角形区域的三个顶点像素的视差值的中值作为该三角形区域的代表视差值。作为另一示例，可以计算三角形区域的三个顶点像素的视差值的平均值，作为该三角形区域的代表视差值。

由此，可以基于视差空洞点所位于的三角形区域的顶点的视差来估计视差空洞点的视差值。从而，在步骤S150，可以利用所估计的视差空洞点的视差值填充在步骤S110中所计算的该初始视差图，以获得稠密视差图。

可选地，在步骤S150中利用估计的视差值填充初始视差图之前，可以对该三角形区域的代表视差值(即估计的视差空洞点的视差值，以下称为视差空洞点的初始视差值)进行优化，从而将优化后的代表视差值作为该无视差值的像素的视差值。

图5示出了根据本公开实施例的用于对代表视差值进行优化的方法的一个示例。如图5所示，该代表视差值优化方法500可以包括步骤S510至步骤S540。

在步骤S510，在每个像素块内，以每个三角形区域作为节点，以该三角形区域的代表视差值作为该节点的视差值，计算相邻三角形节点之间的相似性。

作为一个示例，该相似性可以由节点之间在颜色域的距离以及它们之间在图像平面的距离来决定。例如，可以如以下公式1所示来计算节点之间的相似性：

其中，a_ij代表两个相邻三角形节点i、j之间的相似性，c_ij代表这两个三角形节点之间的颜色域距离，其可以由以下公式2所示来计算：

c_ij＝||I_i-I_j||₂ 公式2

其中I_i和I_j分别代表第i和第j个三角形节点的颜色值。

S_ij代表两个相邻三角形节点i、j之间在图像平面的空间距离，其可以由以下公式3所示来计算：

s_ij＝||(x,y)_i-(x,y)_j||₂ 公式3

其中(x,y)_i表示第i个三角形节点在图像平面上的中心点坐标。

在步骤S520，可以基于每个像素块内的节点的视差值以及节点之间的相似性，设置能量函数和节点的视差值更新函数。

例如，可以如以下公式4所示设置能量函数：

其中d_i代表三角形节点i的视差值。j代表与三角形节点i邻近的三角形节点，a_ij代表这两个三角形节点i、j之间的相似性，其可以由以上公式1计算得到。D_j代表三角形节点j的初始视差值，也就是该三角形区域j的代表视差值，如上所述，其可以为三角形顶点的视差值的中值、平均值等等。

b_j表示该初始视差值D_j的可信度，表示采纳初始视差值的程度，也就是在多大程度上认为初始视差值的计算是准确。b_j的值越大，代表越信任这一初始视差值，反之，则认为初始视差值是不准确的。

至于b_j值的确定，其决定于初始的视差值是否足够准确，这个准确程度是可以在计算视差值时得知的，主要由得到该视差值的左、右图像中对应的像素点的颜色特征的相似性决定。b_j的值就是这个相似性的度量，其取值范围为0-1。

为了计算方便，此处可以将b_j取为1，即认为初始的视差值都是准确的。当然，可以理解，取决于具体应用，b_j的其他取值也是可能的。

每个节点的视差值更新函数也可以基于该节点与在其所在的像素块内的节点之间的相似性以及这些节点的视差值来设置。例如，可以基于与每个节点相邻的并且颜色接近的三角形节点的视差值来设置节点的视差值更新函数，如以下公式5所示：

其中，N_p代表第i个三角形节点的相邻三角形节点,T[]的取值为当[]内的表达式|I_i-I_j|<λ为真时取1，λ代表两个三角形节点之间相似性的阈值，其可以由本领域技术人员根据实际应用需要而设置。也就是说，当两个节点i、j相似时，T[]取1。另外，参数N表示三角形节点i所在的像素块内与该三角形节点i相似的三角形节点的个数，其可以如以下公式6所示来计算：

当然，如以上公式4、5所示的能量函数和视差值更新函数的设置仅仅是举例，本领域技术人员完全可以构思出其他适当的能量函数和视差值更新函数。

由此，在步骤S530，可以迭代地计算每个节点的视差更新函数值以降低该能量函数的值，直到满足预定迭代终止条件。例如，可以利用公式5地迭代计算三角形节点i的视差更新值，以降低根据公式4所计算的能量函数值。

当满足预定的迭代终止条件时，可以停止迭代。例如，该预定迭代终止条件可以包括以下任一个：能量函数的变化小于预定能量函数变化阈值、三角形节点i的视差值的变化小于预定的视差值变化阈值、或者迭代达到预定次数。当然，这些预定的迭代终止条件仅仅是举例，本领域技术人员完全可以预料到其他适当的迭代终止条件。

然后，在步骤S540，可以将每个节点的满足迭代终止条件的视差更新函数值作为优化后的代表视差值，从而该视差值优化处理结束，经过该优化处理得到的代表视差值可以作为上述无视差值的像素的估计的视差值。

从而，返回图1，在步骤S150，可以利用所估计的视差值填充该初始视差图，以获得稠密视差图。

根据本发明实施例的视差图稠密化方法100，在获得初始视差图之后，将参考图像划分为像素块，根据每个像素块内具有视差值的像素点的分布，将像素块再分为多个区域，以该区域为单位对无视差值的像素点进行视差值估计，利用估计的视差值对初始视差图进行填充，以获得稠密视差图。由于以再分的区域为单位而不是以像素块为单位对无视差值的像素点进行视差值估计，克服了因像素块划分不理想而导致同一个超像素块内的像素可能对应不同物体的表面的问题，能够获得准确的稠密视差图。

而且，在估计了无视差值的像素的初始视差值之后，可以利用同一像素块内相邻的且颜色接近的像素来对估计的初始视差值进行优化，是的所获得的无视差值的像素的视差值估计结果更加准确。

下面，将参照图6描述根据本公开一实施例的用于视差值稠密化的装置。

图6是图示根据本公开一实施例的用于视差值稠密化的装置的主要配置的框图。如图6所示，此实施例的用于视差值稠密化的装置600主要包括：计算部件610，用于根据目标场景的左右图像计算初始视差图；分割部件620，用于根据像素相似性，将左右图像中的参考图像分割为多个像素块；再分部件630，用于以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；估计部件640，用于根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；以及稠密化部件650，用于利用所估计的视差值填充该初始视差图，以获得稠密视差图。

在一实施例中，该分割部件620可以对所述参考图像进行超像素分割以获得多个超像素块。

在一实施例中，该再分部件630可以利用三角剖分法将每个像素块划分为多个三角形区域。

在一实施例中，该估计部件640可以包括：代表视差值计算部件(未示出)，用于基于三角形区域的三个顶点像素的视差值，计算该三角形区域的代表视差值；以及优化部件(未示出)对该代表视差值进行优化，将优化后的代表视差值作为该无视差值的像素的视差值。

可选地，可以将三角形区域的三个顶点像素的视差值的中值或者平均值作为该三角形区域的代表视差值。

在一实施例中，该优化部件可以如下进行代表视差值的优化处理：在每个像素块内，以每个三角形区域作为节点，以该三角形区域的代表视差值作为该节点的视差值，计算相邻三角形节点之间的相似性；基于每个像素块内的节点的视差值以及节点之间的相似性，设置能量函数和节点的视差值更新函数；迭代地计算每个节点的视差更新函数值以降低该能量函数的值，直到满足预定迭代终止条件；将每个节点的满足所示预定迭代终止条件的视差更新函数值作为优化后的代表视差值。

可选地，该预定迭代终止条件包括但不限于：所述能量函数的变化小于第一预定阈值、每个节点视差值的变化小于第二预定阈值、或者迭代达到预定次数。

容易理解的是，此实施例的视差图稠密化装置600中的计算部件610、分割部件620、再分部件630、估计部件640、以及稠密化部件650可以由装置600的中央处理单元(CPU)配置。可替代地，计算部件610、分割部件620、再分部件630、估计部件640、以及稠密化部件650还可以由装置600中的专用处理单元(诸如专用集成电路(ASIC)等)配置。也就是说，计算部件610、分割部件620、再分部件630、估计部件640、以及稠密化部件650例如可以由诸如硬件、软件、固件以及它们的任意可行的组合配置。

当然，为了简化，在图6中仅仅示出了该视差图稠密化装置600中与本公开密切相关的一些组件。毫无疑问，该视差图稠密化装置600还可以包括其他模块，诸如输入输出部件、显示部件、通信部件等。当然，该视差图稠密化装置600可以包括存储设备，用于以易失或非易失的方式存储上述处理过程所涉及的图像、数据、所获得的结果、命令以及中间数据等等。该存储设备可以包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。另外，图中也省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，视差图稠密化装置600还可以包括任何其他适当的组件。

下面，参照图7描述本公开另一实施例的用于视差图稠密化的设备。

图7是图示根据本公开另一实施例的用于视差图稠密化的设备的主要配置的框图。

如图7所示，本实施例的用于视差图稠密化的设备700主要包括存储器710、处理器720、输入/输出设备(例如，键盘、鼠标、扬声器等)730、显示设备740等，这些组件通过总线系统750和/或其它形式的连接机构(未示出)互连。应当注意，图7所示的设备700的组件和结构只是示例性的，而非限制性的，根据需要，设备700也可以具有其他组件和结构。例如，设备700还可具有诸如相机的图像采集组件，用于采集目标场景的图像。

存储器710可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存、EPROM存储器、EEPROM存储器等。该计算机可读存储介质还可以包括寄存器、硬盘、软盘、固态硬盘、可移动盘、CD-ROM、DVD-ROM、蓝光盘等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器720可以运行所述程序指令，以实现期望的功能。

处理器720可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，包括但不限于例如一个或者多个处理器或者或微处理器等，并且其可以耦合到该存储器710以运行存储器710中所存储的计算机程序指令来执行以下处理：根据目标场景的左右图像计算初始视差图；根据像素相似性，将左右图像中的参考图像分割为多个像素块；以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；利用所估计的视差值填充该初始视差图，以获得稠密视差图。

此外，本发明实施例还提供了一种计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时使得计算机执行以上参照图1至图5所述的用于进行视差图稠密化的方法的任何实施例。

如上所述，该计算机可读存储介质可以包括例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存、EPROM存储器、EEPROM存储器等。该计算机可读存储介质还可以包括寄存器、硬盘、软盘、固态硬盘、可移动盘、CD-ROM、DVD-ROM、蓝光盘等。

以上，参照图1到图7描述了根据本公开实施例的用于视差图稠密化的方法、装置和计算机可读存储介质。

根据本公开，在获得初始视差图之后，将参考图像划分为像素块，根据每个像素块内具有视差值的像素点的分布，将像素块再分为多个区域，以该区域为单位对无视差值的像素点进行视差值估计，利用估计的视差值对初始视差图进行填充，以获得稠密视差图。由于以再分的区域为单位而不是以像素块为单位对无视差值的像素点进行视差值估计，克服了因像素块划分不理想而导致同一个超像素块内的像素可能对应不同物体的表面的问题，能够获得准确的稠密视差图。

而且，在估计了无视差值的像素的初始视差值之后，可以利用同一像素块内相邻的且颜色接近的像素来对估计的初始视差值进行优化，是的所获得的无视差值的像素的视差值估计结果更加准确。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

此外，需要说明的是，本说明书中所描述的各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

在本发明实施例中，单元/模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成单元/模块并且实现该单元/模块的规定目的。

在单元/模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的单元/模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (10)

1.一种视差图稠密化方法，包括：

根据目标场景的左右图像计算初始视差图；

根据像素相似性，将左右图像中的参考图像分割为多个像素块；

以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；

根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；

利用所估计的视差值填充该初始视差图，以获得稠密视差图。

2.如权利要求1所述的方法，其中将参考图像分割为多个像素块包括对所述参考图像进行超像素分割以获得多个超像素块。

3.如权利要求1或2所述的方法，其中所述将每个像素块再分为多个区域包括利用三角剖分法将每个像素块划分为多个三角形区域。

4.如权利要求3所述的方法，其中所述估计落在该区域内的在该初始视差图中无视差值的像素的视差值包括：

基于三角形区域的三个顶点像素的视差值，计算该三角形区域的代表视差值；

对该代表视差值进行优化，将优化后的代表视差值作为该无视差值的像素的视差值。

5.如权利要求4所述的方法，其中将三角形区域的三个顶点像素的视差值的中值或者平均值作为该三角形区域的代表视差值。

6.如权利要求4所述的方法，其中对该代表视差值进行优化包括：

在每个像素块内，以每个三角形区域作为节点，以该三角形区域的代表视差值作为该节点的视差值，计算相邻三角形节点之间的相似性；

基于每个像素块内的节点的视差值以及节点之间的相似性，设置能量函数和节点的视差值更新函数；

迭代地计算每个节点的视差更新函数值以降低该能量函数的值，直到满足预定迭代终止条件；

将每个节点的满足所示预定迭代终止条件的视差更新函数值作为优化后的代表视差值。

7.如权利要求6所述的方法，其中所述预定迭代终止条件包括以下之一：所述能量函数的变化小于第一预定阈值、每个节点视差值的变化小于第二预定阈值、或者迭代达到预定次数。

8.一种视差图稠密化装置，包括：

计算部件，用于根据目标场景的左右图像计算初始视差图；

分割部件，用于根据像素相似性，将左右图像中的参考图像分割为多个像素块；

再分部件，用于以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；

估计部件，用于根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；

稠密化部件，用于利用所估计的视差值填充该初始视差图，以获得稠密视差图。

9.一种用于视差图稠密化的设备，包括：

存储器，存储计算机程序指令；以及

处理器，耦合到该存储器，该处理器配置为运行所述计算机程序指令以执行以下处理：

根据目标场景的左右图像计算初始视差图；

根据像素相似性，将左右图像中的参考图像分割为多个像素块；

以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；

根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；

利用所估计的视差值填充该初始视差图，以获得稠密视差图。

10.一种计算机可读存储介质，存储有计算机程序指令，所述计算机程序指令在被计算机运行时使得计算机执行如下处理：

根据目标场景的左右图像计算初始视差图；

根据像素相似性，将左右图像中的参考图像分割为多个像素块；

以每个像素块内具有视差值的像素为顶点，将每个像素块再分为多个区域；

根据每个区域的顶点像素的视差值，估计落在该区域内的在该初始视差图中无视差值的像素的视差值；

利用所估计的视差值填充该初始视差图，以获得稠密视差图。