CN106952266B - Rgbd序列场景流计算中深度图像优化方法 - Google Patents

Abstract

本发明公开了一种RGBD序列场景流计算中深度图像优化方法，首先设定初始分割层数并采用K均值聚类得到深度图像初始分割结果；然后计算RGB图像序列帧间光流，利用深度图像初始分割结果中相邻层之间的光流平均角误差和点误差判断相邻层是否合并；最后通过对深度图像初始分层结果进行循环判断，当深度图像分层层数不再改变时，得到RGBD序列场景流计算中深度图像的自动分层层数与最终分割结果。与现有的深度图像人工分层方法相比，本方法能够实现深度图像自动分层，分割结果更加准确。

Description

RGBD序列场景流计算中深度图像优化方法

技术领域

本发明涉及深度图像自动分层方法，特别涉及一种RGBD序列场景流计算中深度图像优化方法。

背景技术

场景流是空间场景或物体运动所形成的三维运动场，场景流将场景或物体的运动估计由二维拓展到三维，在机器人视觉、无人机导航、虚拟现实以及远程控制等方面具有重要的应用价值。随着消费级深度传感器变得广泛普及，用RGBD序列估计场景流越来越受关注。虽然深度图像信息可以从单视点RGB图像还原场景或物体的3D运动与结构，但是当深度图中场景或物体的边缘没有准确地与RGB图像边缘匹配，会导致基于RGBD序列的场景流计算模型无法确定场景或物体的运动边界。因此，采用RGBD序列估计场景流技术首先需要根据深度图像的分层信息确定深度图像与RGB图像中场景或物体的边缘匹配结果。

现有的场景流计算深度图像分层方法通常是采用人工设定分层数量，由于不同类型RGBD序列图像的运动与场景信息千差万别，使其在实际应用中受到极大限制。

发明内容

本发明的目的是利用RGBD序列图像帧间光流优化深度图像的分层与分割，实现RGBD序列场景流计算中深度图像的自动分层与分割，优化深度图像分割。

为了解决上述技术问题，本发明采取以下技术方案。RGBD序列场景流计算中深度图像优化方法，其步骤如下：

1)首先设定任意初始分层层数；

2)计算RGB图像序列连续两帧图像间的光流，并根据初始分层层数对深度图进行K均值聚类，得到初始的分割图；

3)利用RGB序列图像帧间的光流，判定分割图的相邻层是否满足合并条件，判断规则如下：

a)检测初始分层的各层区域是否相邻，如果不相邻，则不是同一运动物体，保留初始分层结果；

b)检测初始分层结果中相邻层平均光流的角误差AE和点误差EE，满足式(1)中任意一个判定公式则将初始分层结果中的相邻层进行合并：

式中：和表示初始分层结果中第k层和第k+1层水平方向上的光流平均值；和表示初始分层结果中第k层和第k+1层垂直方向的光流平均值；ae和ee表示初始分层结果中相邻两层执行合并的阈值；

4)对执行完合并的分割图进行重新排序，得到自动分层层数N_auto和深度图像分割优化结果；

5)将得到的自动分层层数N_auto和深度图像分割优化结果，作为初始分层数和初始深度图像循环执行步骤3)和步骤4)，当深度图像自动分层层数N_auto不再改变时，停止循环，得到最终的深度图像自动分层层数N_auto和深度图像分割优化结果。

进一步，所述初始分层的层数为1～10层。

进一步，所述步骤3)的判断规则b)中阈值0＜ae≤1，0＜ee≤1。

本发明方法利用RGB序列图像帧间光流对深度图像进行自动分层与分割优化，首先人工设定任意初始分层层数，然后对深度图像进行K均值聚类，使得深度图像中每一层最多只包含一个运动物体，深度图像分层与目标分割充分体现图像序列运动边界，避免一个运动目标分割到多层或者是多个运动目标分割到同一层，最后利用图像序列帧间光流对深度图像相邻层进行判断合并，从而实现自动分层，最终达到优化深度图像分割的目的。

附图说明

图1a和图1b是bear_back图像序列连续两帧图像(其中：图1a是第一帧图像，图1b是第二帧图像)；

图1c是图1a对应的深度图像；

图2a是由bear_back图像序列计算得到的光流图；

图2b是对图1c深度图像进行K均值聚类得到的深度图像初始分割结果图；

图3是本发明专利的深度图像自动分层与优化分割步骤图；

图4是本发明得到深度图像自动分层与优化分割结果图。

具体实施方式

以下结合附图和实施例对本发明作进一步说明。参见图1a至图4，RGBD序列场景流计算中深度图像优化方法，使用bear_back图像序列对深度图像自动分层和优化分割进行实验说明：

1)由于图像场景通常都分解为少量的独立运动物体，如图1a和图1b是bear_back图像序列连续两帧图像(其中：图1a是第一帧图像，图1b是第二帧图像)，图1c是图1a对应的深度图像；首先设定初始分层层数N＝8；

2)计算bear_back图像序列连续两帧间的光流，如图2a所示；并根据初始分层层数对bear_back图像序列对应的深度图像进行K均值聚类得到初始的深度图像分割结果，如图2b所示；

3)利用RGB图像序列帧间的光流判定分割图相邻层是否满足合并条件，判断规则如下：

a)检测初始分层的各层区域是否相邻，如果不相邻则不是同一运动物体，保留初始分层结果；

b)检测初始分层结果中相邻层平均光流的角误差AE和点误差EE，满足式(1)中任意一个判定公式则将初始分层结果中的相邻层进行合并：

式中：和表示初始分层结果中第k层和第k+1层水平方向上的光流平均值；和表示初始分层结果中第k层和第k+1层垂直方向的光流平均值；ae和ee表示初始分层结果中相邻两层执行合并的阈值，取ae＝0.5，ee＝1；

4)如图3所示，对执行完合并的分割图进行重新排序，得到自动分层层数N_auto和深度图像分割优化结果；

5)将得到的自动分层层数N_auto和深度图像分割优化结果作为初始分层数和初始深度图像循环执行步骤(3)～(4)，当深度图像自动分层层数N_auto不再改变时，停止循环，得到最终的深度图像自动分层层数N_auto和深度图像分割优化结果，如图4所示。

由图4深度图像分层与分割优化结果可以看出，本发明能够实现深度图像自动分层，并可以准确地对图像中的不同景深运动物体进行分层分割，在无人机避障、汽车自主驾驶以及机器人等领域具有广泛的应用前景。

Claims (3)

1.RGBD序列场景流计算中深度图像优化方法，其特征在于，其步骤如下：

1)首先设定任意初始分层层数；

2)计算RGB图像序列连续两帧图像间的光流，并根据初始分层层数对深度图进行K均值聚类，得到初始的分割图；

3)利用RGB序列图像帧间的光流，判定分割图的相邻层是否满足合并条件，判断规则如下：

a)检测初始分层的各层区域是否相邻，如果不相邻，则不是同一运动物体，保留初始分层结果；

b)检测初始分层结果中相邻层平均光流的角误差AE和点误差EE，满足式(1)中任意一个判定公式则将初始分层结果中的相邻层进行合并：

式中：和表示初始分层结果中第k层和第k+1层水平方向上的光流平均值；和表示初始分层结果中第k层和第k+1层垂直方向的光流平均值；ae和ee表示初始分层结果中相邻两层执行合并的阈值；

4)对执行完合并的分割图进行重新排序，得到自动分层层数N_auto和深度图像分割优化结果；

5)将得到的自动分层层数N_auto和深度图像分割优化结果，作为初始分层数和初始深度图像循环执行步骤3)和步骤4)，当深度图像自动分层层数N_auto不再改变时，停止循环，得到最终的深度图像自动分层层数N_auto和深度图像分割优化结果。

2.根据权利要求1所述的RGBD序列场景流计算中深度图像优化方法，其特征在于，所述初始分层的层数为1～10层。

3.根据权利要求要求1所述的RGBD序列场景流计算中深度图像优化方法，其特征在于，所述步骤3)的判断规则b)中阈值0＜ae≤1，0＜ee≤1。