CN102156987A - 获取场景深度信息的方法及装置 - Google Patents

Abstract

本发明公开了一种获取场景深度信息的方法及装置，能克服当前获取反映物体边缘深度变化的真实信息的不足。该方法包括：将左图和右图分别划分成多个互不相交的区域，获得左图区域集合及右图区域集合；确定左图区域集合中的区域与右图中对应区域的相似度，生成左图匹配图像；确定右图区域集合中的区域与左图中对应区域的相似度，生成右图匹配图像；对左图匹配图像及右图匹配图像进行一致性检测，获得场景的初始的深度信息图中匹配错误的区域；根据平滑处理得到匹配错误的区域的修正深度信息；采用修正深度信息对初始的深度信息图进行优化，获得最终的深度信息图。本发明的实施例解决了现有技术难以获取反映物体边缘深度变化的真实信息的问题。

Description

获取场景深度信息的方法及装置

技术领域

本发明涉及图像处理技术，尤其涉及一种获取场景深度信息的方法及装置。

背景技术

随着科技的进步和市场的发展，一些应用越来越多地需要掌握场景的深度信息，比如立体显示、机器视觉、卫星遥感等等技术。受到一些技术和理论的限制，传统的一些影像媒体记录技术还无法还原出真实的深度信息。而与一些造价昂贵、设计复杂的三维数据处理方式相比，基于图像处理的立体匹配技术能够较为灵活有效地解决这方面的问题。

基于图像处理的立体匹配技术，主要是通过图像处理的办法，对多幅(两幅或者两幅以上)同一场景的不同位置和角度的视图做逐点或逐块的分析，最终得到描述整个场景的深度信息，或者结合摄像机的内外参数获取场景的三维信息。

有大量的技术人员在基于图像处理的立体匹配算法的设计和开发中取得了卓越的成效，借此目前也出现了多种立体匹配算法。但是，本发明的发明人在研究本发明的过程中，发现目前的立体匹配算法获得场景真实深度信息仍然面临一些不足，例如如何获得物体边缘的明显的深度变化信息，较难获取反映物体边缘深度变化的真实信息。

发明内容

有鉴于此，本发明实施例提供一种获取场景深度信息的方法和装置，能够克服现有技术难以获取反映物体边缘深度变化的真实信息的不足。

本发明实施例首先提供了一种获取场景深度信息的方法，包括：

将该场景的左图和右图分别划分成多个互不相交的区域，获得左图区域集合及右图区域集合；

确定该左图区域集合中的区域与该右图中相对应区域的相似度，生成左图匹配图像；确定该右图区域集合中的区域与该左图中相对应区域的相似度，生成右图匹配图像；

对该左图匹配图像及右图匹配图像进行一致性检测，获得该场景的初始的深度信息图中匹配错误的区域；

根据平滑处理得到该匹配错误的区域的修正深度信息；

采用该修正深度信息对初始的深度信息图进行优化，获得该场景的最终的深度信息图。

优选地，将该场景的左图和右图分别划分成多个互不相交的区域，包括：

采用基于阈值的方法、基于图论的方法或者基于特征空间聚类的方法，对该左图和右图分别进行图像分割，获得该左图区域集合及右图区域集合。

优选地，确定该左图区域集合中的区域与该右图中相对应区域的相似度，以及确定该右图区域集合中的区域与该左图中相对应区域的相似度，包括：

通过比较对应区域中所有对应点的颜色通道的相似程度来获得对应区域之间的相似度。

优选地，对该左图匹配图像及右图匹配图像进行该一致性检测，获得该场景的初始的深度信息图中匹配错误的区域，包括：

对该左图匹配图像及右图匹配图像进行该一致性检测，获得该左图匹配图像及右图匹配图像之间匹配不一致的区域，将该匹配不一致的区域作为初始的深度信息图中匹配错误的区域。

优选地，根据平滑处理得到该匹配错误的区域的修正深度信息，包括：

该平滑处理是对该匹配错误的区域应用基于匹配错误的区域内正确点的平滑或者基于该匹配错误的区域邻域的平滑，获得该修正深度信息。

优选地，基于匹配错误的区域内正确点的平滑，包括：

该匹配错误的区域内包含有匹配一致的正确点，则应用基于该匹配错误的区域内正确点进行平滑，将该匹配错误的区域内该正确点的偏移量作为该修正深度信息。

优选地，基于该匹配错误的区域邻域的平滑，包括：

该匹配错误的区域内不包含有匹配一致的正确点，则应用基于该匹配错误的区域的邻域进行平滑，从该匹配错误的区域的相邻区域中选择一个匹配正确的区域，将该相邻且匹配正确的区域的偏移量作为该修正深度信息。

优选地，根据高斯混合积模型、或者该匹配错误的区域及该相邻且匹配正确的区域的颜色平均值，获得该修正深度信息。

为了解决上述技术问题，本发明还提供了一种获取场景深度信息的装置，包括：

划分模块，用于将该场景的左图和右图分别划分成多个互不相交的区域，获得左图区域集合及右图区域集合；

匹配模块，用于确定该左图区域集合中的区域与该右图中相对应区域的相似度，生成左图匹配图像；用于确定该右图区域集合中的区域与该左图中相对应区域的相似度，生成右图匹配图像；

检测模块，用于对该左图匹配图像及右图匹配图像进行一致性检测，获得该场景的初始的深度信息图中匹配错误的区域；

获取模块，用于根据平滑处理得到该匹配错误的区域的修正深度信息；

优化模块，用于采用该修正深度信息对初始的深度信息图进行优化，获得该场景的最终的深度信息图。

优选地，该划分模块用于采用基于阈值的方法、基于图论的方法或者基于特征空间聚类的方法，对该左图和右图分别进行图像分割，获得该左图区域集合及右图区域集合。

优选地，该匹配模块用于通过比较对应区域中所有对应点的颜色通道的相似程度来获得对应区域之间的相似度。

优选地，该检测模块用于对该左图匹配图像及右图匹配图像进行该一致性检测，获得该左图匹配图像及右图匹配图像之间匹配不一致的区域，将该匹配不一致的区域作为初始的深度信息图中匹配错误的区域。

优选地，该获取模块用于对匹配错误的区域应用基于匹配错误的区域内正确点的平滑或者基于该匹配错误的区域邻域的平滑，获得该修正深度信息。

优选地，该匹配错误的区域内包含有匹配一致的正确点，该获取模块用于应用基于该匹配错误的区域内正确点进行平滑，将该匹配错误的区域内该正确点的偏移量作为该修正深度信息。

优选地，该匹配错误的区域内不包含有匹配一致的正确点，该获取模块用于应用基于该匹配错误的区域的邻域进行平滑，从该匹配错误的区域的相邻区域中选择一个匹配正确的区域，将该相邻且匹配正确的区域的偏移量作为该修正深度信息。

优选地，该获取模块用于根据高斯混合积模型、或者该匹配错误的区域及该相邻且匹配正确的区域的颜色平均值，获得该修正深度信息。

由上述技术方案可知，本实施例的技术方案具有以下有益效果：

将场景的左图和右图(也可分别称之为参考视图和匹配视图，场景中同一物体在左图和右图中的位置有所不同)分别进行分割，以图像分割所产生的区域为单位，分别采用左图和右图中的一幅图像的分割结果分别对另一幅图像进行立体匹配，获得两幅匹配图像，并利用基于像素点的左右一致性检测，获得匹配一致的区域的深度信息和匹配不一致的区域的修正深度信息，以此获得最终场景的深度信息。本实施例解决了现有技术难以获取反映物体边缘深度变化的真实信息的问题。

附图说明

图1是本发明实施例一的获取场景深度信息的方法的流程示意图；

图2是本发明实施例二的获取场景深度信息的装置的组成示意图。

具体实施方式

以下参照附图并举实施例，对本发明实施例进一步详细说明。

本发明实施例以及实施例中的各个特征的相互结合，均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本发明实施例的技术方案中，针对同一场景从左右两个位置分别拍摄得到左图和右图。

实施例一、获取场景深度信息的方法

图1为本实施例的流程示意图。如图1所示，本实施例主要包括如下步骤：

步骤S110，以左图、右图中的某种特征，将左图和右图分别划分成多个互不相交的区域，即分别进行图像分割，获得左图区域集合及右图区域集合。

在本发明的实施例中，采用了将左图或者右图划分成若干个互不相交的区域为单位进行立体匹配，这若干个区域与实际场景中的物体存在对应关系，以这若干个区域为单位进行匹配能获得物体之间的明显深度变化，而且能处理较大面积的无纹理或者弱纹理区域。

一般的，对图像进行分割所依据的图像特征，主要包括图像的灰度特征、色彩特征、空间纹理特征以及几何形状特征等这些众多特征中的一种或几种的组合。根据这些图像特征中的一种或几种，利用图像特征空间聚类技术，把待分割图像分割成两个或两个以上互不相交的区域。如此分割，使得图像特征在同一区域内具有一致性或相似性，而在相邻区域间不具有一致性或相似性。图像分割的方法主要有基于阈值的方法、基于图论的方法、基于特征空间聚类的方法三类：

基于阈值的分割方法，就是预先设定一个或多个阈值，根据所设定的阈值将图像划分为若干个区域。

基于图论的方法，是将待分割图像映射成一个中间图像，该中间图像中的每一节点代表待分割图像的一个图像点，该中间图像中的边描述相邻节点间的关系，然后根据节点之间的相似度对节点进行合并，直至不能再次发生合并为止。

基于特征空间聚类的分割方法，就是将图像映射到特征空间，在特征空间当中通过聚类方法将特征空间中的点分为若干类，具体可以分为自动聚类方法和有监督的聚类方法等多种实现方式。

基于以上所述的三类方法来实现图像分割，本领域技术人员根据现有技术即可实现，本发明实施例对此不做赘述。

步骤S120，以左图区域集合为基础，通过立体匹配确定其所包含的区域与右图中相对应区域的相似度，生成左图匹配图像；以右图区域集合为基础，通过立体匹配确定其所包含的区域与左图中相对应区域的相似度，生成右图匹配图像。

在进行基于图像分割产生的图像区域的立体匹配时，可以构造一种代价函数来描述区域之间的相似度，本发明实施例中提出的代价函数通过比较对应图像区域中所有对应点的三个颜色通道(如RGB三颜色通道)的相似程度来获得对应图像区域之间的相似度。

步骤S130，对左图匹配图像和右图匹配图像进行一致性检测，获得场景的初始的深度信息图，并确定初始的深度信息图中匹配错误的区域。

偏移量表示同一物体在左图和右图上的坐标的差异，是场景深度信息的一种表现方式。本实施例中，左图匹配图像和右图匹配图像的一致性检测中，根据匹配一致的区域的偏移量获得初始的深度信息图。但是，由于场景中物体之间的相互遮挡，以及光照变化等因素的影响，左图匹配图像和右图匹配图像之间存在着一定的差异，这些差异会导致匹配错误的区域。

具体而言，经过一致性检测后，会得到得左图匹配图像和右图匹配图像之间匹配一致的区域及匹配不一致的区域。匹配一致的区域是指不包含检测出的匹配错误点的区域，匹配不一致的区域是指包含检测出的匹配错误点的区域。例如，进行左图区域集合对右图匹配后，左图区域集合中的点A在右图上会找到他的对应点A1；A1点在从右图区域集合对左图匹配后，会在左图中找到的对应点为A2，如果A2与A点在坐标上的差异的绝对值大于1，则认为A点是一个匹配错误点。

需要说明的是，本发明的实施例中，初始的深度信息图可以在生成左图匹配图像或者生成右图匹配图像时获得，也可以在进行一致性检测时获得。

步骤S140，应用基于区域内正确点的平滑处理或者基于邻域的平滑处理，获得初始的深度信息图中匹配错误的区域的修正深度信息。

针对初始的深度信息图中的匹配错误的区域，可以采用平滑处理的方式，获得该匹配错误的区域的偏移量，即修正深度信息。根据匹配错误的区域中是否包含有匹配一致的像素点，分为以下情形：

其一，将近似获得的该匹配错误的区域的偏移量作为该修正深度信息。如果匹配错误的区域中包含有匹配一致的正确点，则基于该区域内正确点进行平滑，即：获取该区域内正确点的偏移量，将该偏移量近似作为该匹配错误的区域的偏移量，以此获得该匹配错误的区域的修正深度信息；

其二，将该相邻且匹配正确的区域的偏移量作为该修正深度信息。如果匹配错误的区域中不包含有匹配一致的正确点，则基于该区域的邻域进行平滑，即：从该匹配错误的区域的相邻区域中选择一个匹配正确的区域，这种选择可以是基于相邻两区域之间的灰度特征、色彩特征、空间纹理特征以及几何形状特征等这些众多特征中的一种或几种的组合来进行的。将这个相邻且匹配正确的区域的偏移量，作为该匹配错误的区域的偏移量，以此获得该匹配错误的区域的修正深度信息。例如，计算该匹配错误的区域的颜色平均值，以及所有与之相邻且匹配正确的区域的颜色平均值，获得该匹配错误的区域以及与其相邻且匹配正确的区域的颜色平均值的差异值，将所获得的匹配正确的区域的差异值中最小的一个偏移量，作为该匹配错误的区域的偏移量，即获得该匹配错误的区域的修正深度信息。同样的，也可以利用一些数学模型来描述匹配错误的区域与该相邻且匹配正确的区域之间的偏移量，比如利用高斯混合积模型等，利用期望最大化的方法求解获得匹配错误的区域的偏移量，即获得该匹配错误的区域的修正深度信息。

步骤S150，采用修正深度信息对初始的深度信息图进行优化，获得最终的深度信息图。

根据修正深度信息，将步骤S130中所确定的相应的匹配错误的区域的深度信息进行修正，并且结合步骤S130中所获得的初始的深度信息图，生成最终的深度信息图。

实施例二、获取场景深度信息的装置

结合图1所示实施例一的流程示意图，以及实施例一的获取场景深度信息的方法的具体技术内容，理解本实施例二的获取场景深度信息的装置的技术方案。实施例二如图2所示，主要包括划分模块210、匹配模块220、检测模块230、获取模块240以及优化模块250，其中：

划分模块210，用于将该场景的左图和右图分别划分成多个互不相交的区域，获得左图区域集合及右图区域集合；

匹配模块220，与划分模块210相连，用于确定该左图区域集合中的区域与该右图中相对应区域的相似度，生成左图匹配图像；用于确定该右图区域集合中的区域与该左图中相对应区域的相似度，生成右图匹配图像；

检测模块230，与匹配模块220相连，用于对该左图匹配图像及右图匹配图像进行一致性检测，获得场景的初始的深度信息图中匹配错误的区域；

获取模块240，与检测模块230相连，用于根据平滑处理得到该匹配错误的区域的修正深度信息；

优化模块250，与获取模块240相连，用于采用该修正深度信息对初始的深度信息图进行优化，获得该场景的最终的深度信息图。

其中，该划分模块210用于采用基于阈值的方法、基于图论的方法或者基于特征空间聚类的方法，对该左图和右图分别进行图像分割，获得该左图区域集合及右图区域集合。

其中，该匹配模块220用于通过比较对应区域中所有对应点的颜色通道的相似程度来获得对应区域之间的相似度。

其中，该检测模块230用于对该左图匹配图像及右图匹配图像进行该一致性检测，获得该左图匹配图像及右图匹配图像之间匹配不一致的区域，将该匹配不一致的区域作为该匹配错误的区域。

其中，该获取模块240用于对该匹配错误的区域应用基于区域内正确点的平滑或者基于该匹配错误的区域邻域的平滑，获得该修正深度信息。

其中，该匹配错误的区域中包含有匹配一致的正确点，获取模块240用于应用基于该匹配错误的区域内正确点进行平滑，将该匹配错误的区域内该正确点的偏移量作为该匹配错误的区域的修正深度信息；

该匹配错误的区域中不包含有匹配一致的正确点，获取模块240用于应用基于该匹配错误的区域的邻域进行平滑，从该匹配错误的区域的相邻区域中选择一个匹配正确的区域，这种选择可以是基于相邻两区域之间的灰度特征、色彩特征、空间纹理特征以及几何形状特征等这些众多特征中的一种或几种的组合来进行的。将该相邻且匹配正确的区域的偏移量，作为该匹配错误的区域的修正深度信息。

其中，该获取模块240可以利用一些数学模型来描述匹配错误的区域与该相邻且匹配正确的区域之间的偏移量，或者该匹配错误的区域以及与该相邻且匹配正确的区域的颜色平均值，获得该修正深度信息。

需要说明的是，本实施例中的优化模块250，是采用获取模块240所获得的修正深度信息，对检测模块230在进行一致性检测时所获得的初始的深度信息图进行优化，并获得场景的最终的深度信息图；此时，优化模块250与获取模块240以及检测模块230相连。在其他实施例中，优化模块250也可以采用获取模块240所获得的修正深度信息，对匹配模块220在生成左图匹配图像或者生成右图匹配图像时所获得的初始的深度信息图进行优化，并获得场景的最终的深度信息图；此时，优化模块250与获取模块240以及匹配模块220相连。

在本发明的技术方案中，如果需要直观地了解左图匹配图像与右图匹配图像之间的差异，则可以考虑将该匹配一致的区域和匹配不一致的区域组成一幅参考图像；在该参考图像中，可以采用不同的颜色信息将匹配一致的区域和匹配不一致的区域进行显示，比如以灰度图像显示匹配一致的区域，而以醒目的颜色如红色蓝色显示匹配不一致的区域；其中采用灰度图像显示匹配一致的区域，一定程度上保留了场景的色彩及明暗等信息。

本发明技术方案以区域为单位的立体匹配方法，源于图像分割产生的区域与实际场景中的物体存在某种对应关系。因此，以对图像进行分割后的区域为单位进行匹配，能很好根据物体边缘对图像进行划分，因此能较好地获得物体边缘的明显深度变化信息。

同时，对于不同应用领域场景下的图像而言，都具有可以分割的通用特性；换而言之，虽然图像所属的领域可以并不相同，但是体现在图像可以进行区域划分则是普遍的特性。基于对图像进行分割并进行后续处理，本发明实施例对于不同应用领域具有较大程度的通用性，能够处理含有较大面积的无纹理或者弱纹理区域的图像。

本发明的技术方案采用左图和右图进行互为补充、互为验证的处理方式，比如前述实施例中的两次立体匹配，即形成一种互为补充的关系，而前述的一致性检测，即形成一种互为验证的关系。这种互为补充、互为验证的处理方式，对图像中的细节具有较强的识别能力，因此可以获得较为真实的图像的深度信息。

本发明实施例为进一步提高立体匹配方法的效果，通过将图像划分成多个互不相交的区域进行立体匹配的技术手段，进一步提高了本发明的通用性。

本领域的技术人员应该明白，上述的本发明方法实施例中的各步骤以及本发明装置实施例中的各组成部分可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述为本发明的实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种获取场景深度信息的方法，包括如下步骤：

将该场景的左图和右图分别划分成多个互不相交的区域，获得左图区域集合及右图区域集合；

确定该左图区域集合中的区域与该右图中相对应区域的相似度，生成左图匹配图像；确定该右图区域集合中的区域与该左图中相对应区域的相似度，生成右图匹配图像；

对该左图匹配图像及右图匹配图像进行一致性检测，获得该场景的初始的深度信息图中匹配错误的区域；

根据平滑处理得到该匹配错误的区域的修正深度信息；

采用该修正深度信息对初始的深度信息图进行优化，获得该场景的最终的深度信息图。

2.根据权利要求1所述的方法，其中，将该场景的左图和右图分别划分成多个互不相交的区域，包括：

采用基于阈值的方法、基于图论的方法或者基于特征空间聚类的方法，对该左图和右图分别进行图像分割，获得该左图区域集合及右图区域集合。

3.根据权利要求1所述的方法，其中，确定该左图区域集合中的区域与该右图中相对应区域的相似度，以及确定该右图区域集合中的区域与该左图中相对应区域的相似度，包括：

通过比较对应区域中所有对应点的颜色通道的相似程度来获得对应区域之间的相似度。

4.根据权利要求1所述的方法，其中，对该左图匹配图像及右图匹配图像进行该一致性检测，获得该场景的初始的深度信息图中匹配错误的区域，包括：

对该左图匹配图像及右图匹配图像进行该一致性检测，获得该左图匹配图像及右图匹配图像之间匹配不一致的区域，将该匹配不一致的区域作为初始的深度信息图中匹配错误的区域。

5.根据权利要求1所述的方法，其中，根据平滑处理得到该匹配错误的区域的修正深度信息，包括：

该平滑处理是对该匹配错误的区域应用基于匹配错误的区域内正确点的平滑或者基于该匹配错误的区域邻域的平滑，获得该修正深度信息。

6.根据权利要求5所述的方法，其中，基于匹配错误的区域内正确点的平滑，包括：

该匹配错误的区域内包含有匹配一致的正确点，则应用基于该匹配错误的区域内正确点进行平滑，将该匹配错误的区域内该正确点的偏移量作为该修正深度信息。

7.根据权利要求5所述的方法，其中，基于该匹配错误的区域邻域的平滑，包括：

该匹配错误的区域内不包含有匹配一致的正确点，则应用基于该匹配错误的区域的邻域进行平滑，从该匹配错误的区域的相邻区域中选择一个匹配正确的区域，将该相邻且匹配正确的区域的偏移量作为该修正深度信息。

8.根据权利要求7所述的方法，其中：

根据高斯混合积模型、或者该匹配错误的区域及该相邻且匹配正确的区域的颜色平均值，获得该修正深度信息。

9.一种获取场景深度信息的装置，包括：

划分模块，用于将该场景的左图和右图分别划分成多个互不相交的区域，获得左图区域集合及右图区域集合；

匹配模块，用于确定该左图区域集合中的区域与该右图中相对应区域的相似度，生成左图匹配图像；用于确定该右图区域集合中的区域与该左图中相对应区域的相似度，生成右图匹配图像；

检测模块，用于对该左图匹配图像及右图匹配图像进行一致性检测，获得该场景的初始的深度信息图中匹配错误的区域；

获取模块，用于根据平滑处理得到该匹配错误的区域的修正深度信息；

优化模块，用于采用该修正深度信息对初始的深度信息图进行优化，获得该场景的最终的深度信息图。

10.根据权利要求9所述的装置，其中：

该划分模块用于采用基于阈值的方法、基于图论的方法或者基于特征空间聚类的方法，对该左图和右图分别进行图像分割，获得该左图区域集合及右图区域集合。

11.根据权利要求9所述的装置，其中：

该匹配模块用于通过比较对应区域中所有对应点的颜色通道的相似程度来获得对应区域之间的相似度。

12.根据权利要求9所述的装置，其中：

该检测模块用于对该左图匹配图像及右图匹配图像进行该一致性检测，获得该左图匹配图像及右图匹配图像之间匹配不一致的区域，将该匹配不一致的区域作为初始的深度信息图中匹配错误的区域。

13.根据权利要求9所述的装置，其中：

该获取模块用于对匹配错误的区域应用基于匹配错误的区域内正确点的平滑或者基于该匹配错误的区域邻域的平滑，获得该修正深度信息。

14.根据权利要求13所述的装置，其中：

该匹配错误的区域内包含有匹配一致的正确点，该获取模块用于应用基于该匹配错误的区域内正确点进行平滑，将该匹配错误的区域内该正确点的偏移量作为该修正深度信息。

15.根据权利要求13所述的装置，其中：

该匹配错误的区域内不包含有匹配一致的正确点，该获取模块用于应用基于该匹配错误的区域的邻域进行平滑，从该匹配错误的区域的相邻区域中选择一个匹配正确的区域，将该相邻且匹配正确的区域的偏移量作为该修正深度信息。

16.根据权利要求15所述的装置，其中：

该获取模块用于根据高斯混合积模型、或者该匹配错误的区域及该相邻且匹配正确的区域的颜色平均值，获得该修正深度信息。