CN111292367B - 一种基线可变的双目相机深度图生成方法 - Google Patents

Abstract

本发明公开了一种基线可变的双目相机深度图生成方法，包括如下步骤：计算初始位置的视差图；直方图统计处理视差图，获得主体视差区间和主体视差值；二值化视差图，并获取主体轮廓和主体轮廓中心点；旋转双目云台使云台中心对准主体轮廓中心点对应的空间点；同步移动左右相机改变基线长度；生成基线调整后的深度图。本发明所公开的方法使用不同的基线生成深度图，提高了双目相机生成深度图的灵活性，实现了同一个双目相机连续性检测不同距离物体的目的；相比于同样效果的多线激光雷达，成本较低且具有真彩色。

Description

一种基线可变的双目相机深度图生成方法

技术领域

本发明涉及一种基线可变的双目相机深度图生成方法。

背景技术

深度图生成技术是利用传感器主动或被动的获取场景深度信息，并将深度信息表示为深度图像的技术。该技术可以于目标检测、目标识别、图像分割等技术结合，应用于三维重建、路径导航、无人驾驶汽车、智能交通、安防及机器人自动控制等领域。

基于双目相机的深度图生成技术具有成本低，易实现，适用场景广泛的优势。双目相机生成深度图的方法依像素的独立性可分为局部立体匹配和全局立体匹配两种。全局立体匹配依赖于沿单个扫描线或整个视差图的全局能量最小化功能，常用方法为置信传播，图像分割，动态编程等。

双目相机中两个相机光圈中心之间的水平距离称为双目相机的基线，是双目相机的重要参数。基线越长，双目能观测到的最大距离就越远，反之，双目只能观测很近的距离。

传统的双目云台一般采用定基线的方式，两摄像头之间的距离固定，对固定深度区域具有较好的效果但灵活性不足。

发明内容

为解决上述技术问题，本发明提供了一种基线可变的双目相机深度图生成方法，以达到使用不同的基线生成深度图，提高了双目相机生成深度图的灵活性的目的。

为达到上述目的，本发明的技术方案如下：

一种基线可变的双目相机深度图生成方法，包括如下步骤：

步骤一，计算初始位置的视差图；

步骤二，直方图统计处理视差图，获得主体视差区间和主体视差值；

步骤三，二值化视差图，并获取主体轮廓和主体轮廓中心点；

步骤四，旋转双目云台使云台中心对准主体轮廓中心点对应的空间点；

步骤五，同步移动左右相机改变基线长度；

步骤六，生成基线调整后的深度图。

上述方案中，所述步骤一具体如下：

利用双目云台上的的左相机和右相机同时拍摄正前方物体，生成左图和右图，并对生成的左图和右图使用全局立体匹配方法生成视差图。

上述方案中，所述步骤二具体如下：

在视差图上选定一个矩形区域，遍历矩形区域中每个像素的视差值，记录选定区域内的最大视差值d_max，以[5,d_max-5]为直方图统计范围，统计选定的矩形区域内的每个整数视差值出现的次数，选定出现次数最多的连续的n个视差值为主体视差区间

主体视差区间对应的空间区域为主体区域，主体视差区间的中间视差值为主体视差值d。

上述方案中，所述步骤三具体如下：

处理直方图统计区域的像素点，像素点的视差值在主体视差区间

范围内的像素点赋值为255，像素点的视差值落在主体视差区间外的像素点赋值为零，获得仅保留主体部分的二值图；

在二值图上扫描获取外轮廓集合Con＝{C₁，C₂，…，C_k}，k为外轮廓个数，C_k为第k个外轮廓；遍历每个外轮廓区域，统计每个外轮廓内像素的个数，保留像素个数最多的外轮廓为主体视差区间的轮廓，即主体轮廓，对主体轮廓使用多边形逼近算法获得围绕主体轮廓的多边形顶点集合Point＝{Pt₁,Pt₂,…,Pt_m}，主体轮廓的中心坐标Pt为：

其中，m为多边形的顶点个数，j＝1，2，…，m。

上述方案中，所述步骤四具体如下：

反投影多边形中心坐标Pt到左相机空间坐标系中得对应的空间坐标P₁，

其中，K为已知的左相机内参矩阵，Pt.x和Pt.y为分别为轮廓中心坐标Pt在图像坐标系上的横坐标和纵坐标，f为已知的左相机焦距，b为已知的左右相机之间的初始基线长度，d为主体视差值；

双目云台中心位置在左相机空间坐标系内的坐标为P₂，计算P₁相对于P₂在X轴方向上的偏转角度θ及偏转方向，

其中，P_1·x和P_1·z分别为反投影点P₁在左相机空间坐标系中X轴坐标和Z轴坐标；

云台的偏转方向由偏转角度θ的正负号决定，当偏转角度θ为负时，双目云台向右转，反之，向左转；

旋转双目云台，使双目云台中心位置对准主体轮廓中心点对应的空间点。

上述方案中，所述步骤五具体如下：

当双目相机的左图中的主体部分为近景物体时，左右相机需同时向中央移动Δb距离；当双目相机的左图中的主体部分为远景物体时，左右相机需同时向两侧移动Δb距离；基线的变化量计算如下：

其中，T为自定义视差阈值，b为已知的左右相机之间的初始基线长度，d为主体视差值。

上述方案中，所述步骤六具体如下：

调整完毕双目云台后，使用左右相机重新拍摄前方图像，在左右图像上执行全局立体匹配方法生成视差图，使用更新后的基线值将视差图转化为深度图。

通过上述技术方案，本发明提供的一种基线可变的双目相机深度图生成方法具有如下有益效果：

1、针对远近不同的物体，使用不同的基线生成深度图，提高了双目相机生成深度图的灵活性。

2、实现了同一个双目相机连续性检测不同距离物体的目的。

3、相比于同样效果的多线激光雷达，成本较低且具有真彩色。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种基线可变的双目相机深度图生成方法流程示意图；

图2为[5,d_max-5]范围直方图简易示意图；

图3为直方图统计区域示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种基线可变的双目相机深度图生成方法，如图1所示，该方法包括如下步骤：

步骤一，计算初始位置的视差图；

在双目平台上装配有两个具有相同焦距f的相机，两个相机之间的初始基线长度为b，两个相机可同时向外或向内移动同样长度的位移。两个相机同时拍摄正前方物体生成两幅图像，其中左相机拍摄的图像为左图I_l，右相机拍摄的图像为右图I_r，对生成的左图I_l和右图I_r使用全局立体匹配方法生成视差图。

步骤二，直方图统计处理视差图，获得主体视差区间和主体视差值；

在视差图上选定一个矩形区域ROI，遍历矩形区域ROI中每个像素的视差值，记录选定区域内的最大视差值d_max，以[5,d_max-5]为直方图统计范围，如图2所示，统计选定的矩形区域内的每个整数视差值出现的次数，选定出现次数最多的连续的n个视差值为主体视差区间

主体视差区间对应的空间区域为主体区域，主体视差区间的中间视差值为主体视差值d。

如图3所示，为直方图统计区域，视差图的尺寸为W×H,矩形框的左上角坐标为

右下角坐标为

步骤三，二值化视差图，并获取主体轮廓和主体轮廓中心点；

处理直方图统计区域的像素点，像素点的视差值在主体视差区间

范围内的像素点赋值为255，像素点的视差值落在主体视差区间外的像素点赋值为零，获得仅保留主体部分的二值图；

在二值图上扫描获取外轮廓集合Con＝{C₁，C₂，…，C_k}，k为外轮廓个数，C_k为第k个外轮廓；遍历每个外轮廓区域，统计每个外轮廓内像素的个数，保留像素个数最多的外轮廓为主体视差区间的轮廓，即主体轮廓，对主体轮廓使用多边形逼近算法获得围绕主体轮廓的多边形顶点集合Point＝{Pt₁,Pt₂,…,Pt_m}，主体轮廓的中心坐标Pt为：

其中，m为多边形的顶点个数，j＝1，2，…，m。

步骤四，旋转双目云台使云台中心对准主体轮廓中心点对应的空间点；

反投影多边形中心坐标Pt到左相机空间坐标系中得对应的空间坐标P₁，

其中，K为已知的左相机内参矩阵，Pt.x和Pt.y为分别为轮廓中心坐标Pt在图像坐标系上的横坐标和纵坐标，f为已知的左相机焦距，b为已知的左右相机之间的初始基线长度，d为主体视差值；

双目云台中心位置在左相机空间坐标系内的坐标为P₂，计算P₁相对于P₂在X轴方向上的偏转角度θ及偏转方向，

其中，P_1.x和P_1·z分别为反投影点P₁在左相机空间坐标系中X轴坐标和Z轴坐标；

云台的偏转方向由偏转角度θ的正负号决定，当偏转角度θ为负时，双目云台向右转，反之，向左转；

旋转双目云台，使双目云台中心位置对准主体轮廓中心点对应的空间点。

步骤五，同步移动左右相机改变基线长度；

当双目相机的左图中的主体部分为近景物体时，左右相机需同时向中央移动Δb距离；当双目相机的左图中的主体部分为远景物体时，左右相机需同时向两侧移动Δb距离；基线的变化量计算如下：

其中，T为自定义视差阈值，b为已知的左右相机之间的初始基线长度，d为主体视差值。

步骤六，生成基线调整后的深度图。

调整完毕双目云台后，使用左右相机重新拍摄前方图像，在左右图像上执行全局立体匹配方法生成视差图，使用更新后的基线值将视差图转化为深度图。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基线可变的双目相机深度图生成方法，其特征在于，包括如下步骤：

步骤一，计算初始位置的视差图；

步骤二，直方图统计处理视差图，获得主体视差区间和主体视差值；

步骤三，二值化视差图，并获取主体轮廓和主体轮廓中心点；

步骤四，旋转双目云台使云台中心对准主体轮廓中心点对应的空间点；

步骤五，同步移动左右相机改变基线长度；

步骤六，生成基线调整后的深度图；

所述步骤二具体如下：

在视差图上选定一个矩形区域，遍历矩形区域中每个像素的视差值，记录选定区域内的最大视差值d_max，以|5，d_max-5|为直方图统计范围，统计选定的矩形区域内的每个整数视差值出现的次数，选定出现次数最多的连续的n个视差值为主体视差区间

主体视差区间对应的空间区域为主体区域，主体视差区间的中间视差值为主体视差值d；

所述步骤三具体如下：

处理直方图统计区域的像素点，像素点的视差值在主体视差区间

范围内的像素点赋值为255，像素点的视差值落在主体视差区间外的像素点赋值为零，获得仅保留主体部分的二值图；

在二值图上扫描获取外轮廓集合Con＝{C₁，C₂，…，C_k}，k为外轮廓个数，C_k为第k个外轮廓；遍历每个外轮廓区域，统计每个外轮廓内像素的个数，保留像素个数最多的外轮廓为主体视差区间的轮廓，即主体轮廓，对主体轮廓使用多边形逼近算法获得围绕主体轮廓的多边形顶点集合Point＝{Pt₁,Pt₂,…,Pt_m}，主体轮廓的中心坐标Pt为：

其中，m为多边形的顶点个数，j＝1，2，…，m。

2.根据权利要求1所述的一种基线可变的双目相机深度图生成方法，其特征在于，所述步骤一具体如下：

利用双目云台上的的左相机和右相机同时拍摄正前方物体，生成左图和右图，并对生成的左图和右图使用全局立体匹配方法生成视差图。

3.根据权利要求1所述的一种基线可变的双目相机深度图生成方法，其特征在于，所述步骤四具体如下：

反投影多边形中心坐标Pt到左相机空间坐标系中得对应的空间坐标P₁，

其中，K为已知的左相机内参矩阵，Pt.x和Pt_·y为分别为轮廓中心坐标Pt在图像坐标系上的横坐标和纵坐标，f为已知的左相机焦距，b为已知的左右相机之间的初始基线长度，d为主体视差值；

双目云台中心位置在左相机空间坐标系内的坐标为P₂，计算P₁相对于P₂在X轴方向上的偏转角度θ及偏转方向，

其中，P_1·x和P_1·z分别为反投影点P₁在左相机空间坐标系中X轴坐标和Z轴坐标；

云台的偏转方向由偏转角度θ的正负号决定，当偏转角度θ为负时，双目云台向右转，反之，向左转；

旋转双目云台，使双目云台中心位置对准主体轮廓中心点对应的空间点。

4.根据权利要求3所述的一种基线可变的双目相机深度图生成方法，其特征在于，所述步骤五具体如下：

当双目相机的左图中的主体部分为近景物体时，左右相机需同时向中央移动Δb距离；当双目相机的左图中的主体部分为远景物体时，左右相机需同时向两侧移动Δb距离；基线的变化量计算如下：

其中，T为自定义视差阈值，b为已知的左右相机之间的初始基线长度，d为主体视差值。

5.根据权利要求4所述的一种基线可变的双目相机深度图生成方法，其特征在于，所述步骤六具体如下：

调整完毕双目云台后，使用左右相机重新拍摄前方图像，在左右图像上执行全局立体匹配方法生成视差图，使用更新后的基线值将视差图转化为深度图。

Images