CN113822925A - 一种异步双目相机的深度估计方法及系统 - Google Patents

Abstract

本发明公开了一种异步双目相机的深度估计方法及系统。方法包括：S1、将任意两台单目相机以视线方向平行放置，通过缓存分别存储两台单目相机在T秒内的视频帧；S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；S3、根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。本发明可实现深度图的实时获取，显著降低了双目相机的制作成本，可广泛应用在各类场景的三维感知中。

Description

一种异步双目相机的深度估计方法及系统

技术领域

本发明涉及计算机视觉技术领域，更具体地说，特别涉及一种异步双目相机的深度估计方法及系统。

背景技术

双目相机在深度感知、三维重建和虚拟现实领域获得了广泛的应用。标准的双目相机异步需要假定左右相机通过硬件或软件进行同步，这就显著增加了双目相机的成本，并且很多场合无法获得现成的双目相机产品，如视频监控摄像机，网络摄像头等，限制了双目视觉的应用。

发明内容

本发明的目的在于提供一种异步双目相机的深度估计方法及系统，以克服现有技术所存在的缺陷。

为了达到上述目的，本发明采用的技术方案如下：

一种异步双目相机的深度估计方法，包括以下步骤：

S1、将任意两台单目相机以视线方向平行放置，通过缓存分别存储两台单目相机在T秒内的视频帧；

S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；

S3、根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。

进一步地，所述步骤S1中的两台单目相机为两台同型号的监控相机、工业相机或网络摄像头。

进一步地，所述步骤S1中采用棋盘格法计算从第一单目相机到第二单目相机的旋转矩阵R和平移向量t，并计算第一单目相机到第二单目相机的内参数，该内参数包括

和

其中K_l为第一单目相机的内参矩阵，其中f_l为焦距、

为主点，K_r为第二单目相机的内参矩阵，其中f_r为焦距、

为主点。

进一步地，所述步骤S1中的T小于1。

进一步地，所述步骤S2具体包括：

S20、提取第一单目相机视频帧

的特征点，并提取第二单目相机的缓存帧集合I＝{I₁,I₂,I₃,...I_n}中每一图像的特征点；

S21、计算第一单目相机视频帧

到第二单目相机缓存帧的特征匹配，选择匹配点最多的一组第二单目相机缓存帧，构成匹配帧集合G＝＝{J₁,J₂,J₃,...J_k}，且

进一步地，所述步骤S3具体包括：

S30、给定第一单目相机的当前帧

中的像素p，根据以p为中心的图像块M_p和p所对应的深度假设d，通过相机参数到第二单目相机匹配帧J∈G的对应投影位置q处提取相同大小的图像块M_q,计算图像块M_p和图像块M_q的匹配代价，通过给像素p赋值一组深度假设值，选择匹配代价最小的作为像素p的深度d_p；

S31、对第一单目相机的当前帧

中的每一像素执行步骤S20操作，形成当前帧

的深度图集合D＝{D₁,D₂,D₃,...D_k}；

S32、计算深度图集合D＝{D₁,D₂,D₃,...D_k}中每一深度图D_i∈D的置信度C_i，形成置信度集合C＝{C₁,C₂,C₃,...C_k}；

S33、基于深度图集合D＝{D₁,D₂,D₃,...D_k}和对应的置信度集合C＝{C₁,C₂,C₃,...C_k}，融合多组深度图，则对于任意像素位置的最终深度为

进一步地，所述步骤S3中深度图的计算方法为深度学习方法或非学习方法。

本发明还提供一种用于实现上述的异步双目相机的深度估计方法的系统，包括：

视频帧缓冲模块，在将任意两台单目相机以视线方向平行放置后，通过缓存分别存储两台单目相机在T秒内的视频帧；

匹配帧集合计算模块，用于分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，并计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；

深度计算模块，用于根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到；

所述视频帧缓冲模块、匹配帧集合计算模块和深度计算模块依次连接。

与现有技术相比，本发明的优点在于：本发明只需要两台独立的相机按照双目相机的配置近似平行放置，就可实现深度图的实时获取，显著降低了双目相机的制作成本，可广泛应用在各类场景的三维感知中，如视频监控等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明异步双目相机的深度估计方法的示意图。

图2是本发明异步双目相机的深度估计系统的原理图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参阅图1所示，本实施例公开了一种异步双目相机的深度估计方法，包括以下步骤：

步骤S1、将任意两台单目相机以视线方向平行放置，通过缓存分别存储两台单目相机在T秒内的视频帧。

本实施例中，两台单目相机可以为两台同型号的监控相机、工业相机或网络摄像头；即两台相机的摄像头朝向是平行的，两台相机根据位置摆放的不同，分别命名为第一单目相机(左相机)和第二单目相机(右相机)。将两台相机连接电脑后，通过相机的控制程序同时启动开始捕获画面。由于两台相机未经过硬件的同步，不保证两台相机的画面是在一个时间拍摄的。

本实施例采用棋盘格法计算从第一单目相机到第二单目相机的旋转矩阵R和平移向量t，并计算第一单目相机到第二单目相机的内参数，该内参数包括

和

其中K_l为第一单目相机的内参矩阵，其中f_l为焦距、

为主点，K_r为第二单目相机的内参矩阵，其中f_r为焦距、

为主点。

两台相机需要静止放置，但两台相机所拍摄的场景可以包含运动的物体，如行人等。

两台相机的捕获画面存在时间不同步，且相差的时间差为T秒，即第一单目相机的画面比第二单目相机的画面提前T秒，或者第一单目相机的画面比第一单目相机滞后T秒。假设相机的帧率为H帧每秒，则两台相机的画面间隔为H×T帧。为了后续的深度估计，左右相机拍摄时，分别记录T秒内的视频帧作为缓存数据，即记录从当前时刻到T秒前这一段时间的视频帧，缓存数据可以保存在内存中。

本实施例中，根据实际情况，T的值一般小于1。即两台相机的时间延时小于1秒。帧率H一般等于30帧，所以两台相机的画面差异在30视频帧以内。

步骤S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；也就是说：在当前时刻m，从第一单目相机的视频帧

到第二单目相机的缓存帧I＝{I₁,I₂,I₃,...I_n}中，寻找一组最相似的帧

数量为k＝G，k一般等于5，具体步骤为：

首先、提取第一单目相机视频帧

的特征点，如ORB特征点，并提取第二单目相机的缓存帧集合I＝{I₁,I₂,I₃,...I_n}中每一图像的特征点。

然后、计算第一单目相机视频帧

到第二单目相机缓存帧的特征匹配，选择匹配点最多的一组第二单目相机缓存帧，构成匹配帧集合G＝＝{J₁,J₂,J₃,...J_k}，且

匹配帧集合将用于估计左相机当前帧

的深度图。

步骤S3、根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。即：计算第二单目相机的匹配帧集合G＝＝{J₁,J₂,J₃,...J_k}中每一个图像J∈G和第一弹幕相机当前帧

的深度图D，具体为：

首先、给定第一单目相机的当前帧

中的像素p，根据以p为中心的图像块M_p和p所对应的深度假设d，通过相机参数到第二单目相机匹配帧J∈G的对应投影位置q处提取相同大小的图像块M_q,计算图像块M_p和图像块M_q的匹配代价，通过给像素p赋值一组深度假设值，选择匹配代价最小的作为像素p的深度d_p。

然后、对第一单目相机的当前帧

中的每一像素执行步骤S20操作，形成当前帧

的深度图集合D＝{D₁,D₂,D₃,...D_k}。

其次、计算深度图集合D＝{D₁,D₂,D₃,...D_k}中每一深度图D_i∈D的置信度C_i，形成置信度集合C＝{C₁,C₂,C₃,...C_k}；置信度C_i反映了深度图D_i中每一个像素位置深度值的正确性，对于任意像素p和它的深度估计d_p，高置信度代表这个深度值估计的准确，低置信度代表这个置信度估计的不准确。计算方法不限于基于深度学习的置信度预测方法和非学习方法。例如，根据一组带有真实深度标签的训练样本，可以通过提取以像素p为中心的深度图像块和对应的深度值d_p的置信度的真值标注，训练一个二分类的网络模型，预测每一像素位置的深度值的置信度。

最后、基于深度图集合D＝{D₁,D₂,D₃,...D_k}和对应的置信度集合C＝{C₁,C₂,C₃,...C_k}，融合多组深度图，则对于任意像素位置的最终深度为

参阅图2所示，本发明还提供一种用于实现上述的异步双目相机的深度估计方法的系统，包括：视频帧缓冲模块1，在将任意两台单目相机以视线方向平行放置后，通过缓存分别存储两台单目相机在T秒内的视频帧；匹配帧集合计算模块2，用于分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，并计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；深度计算模块3，用于根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到；所述视频帧缓冲模块1、匹配帧集合计算模块2和深度计算模3依次连接。

本发明只需要两台独立的相机按照双目相机的配置近似平行放置，就可实现深度图的实时获取，方法可将任意独立两台监控相机、工业相机和网络摄像头组成双目视觉系统，显著降低了双目相机的制作成本，预期可广泛应用在各类场景的三维感知中，如视频监控等领域。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (8)

1.一种异步双目相机的深度估计方法，其特征在于，包括以下步骤：

S1、将任意两台单目相机以视线方向平行放置，通过缓存分别存储两台单目相机在T秒内的视频帧；

S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；

S3、根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。

2.根据权利要求1所述的异步双目相机的深度估计方法，其特征在于，所述步骤S1中的两台单目相机为两台同型号的监控相机、工业相机或网络摄像头。

3.根据权利要求1所述的异步双目相机的深度估计方法，其特征在于，所述步骤S1中采用棋盘格法计算从第一单目相机到第二单目相机的旋转矩阵R和平移向量t，并计算第一单目相机到第二单目相机的内参数，该内参数包括

和

其中K_l为第一单目相机的内参矩阵，其中f_l为焦距、

为主点，K_r为第二单目相机的内参矩阵，其中f_r为焦距、

为主点。

4.根据权利要求1所述的异步双目相机的深度估计方法，其特征在于，所述步骤S1中的T小于1。

5.根据权利要求1所述的异步双目相机的深度估计方法，其特征在于，所述步骤S2具体包括：

S20、提取第一单目相机视频帧

的特征点，并提取第二单目相机的缓存帧集合I＝{I₁,I₂,I₃,...I_n}中每一图像的特征点；

S21、计算第一单目相机视频帧

到第二单目相机缓存帧的特征匹配，选择匹配点最多的一组第二单目相机缓存帧，构成匹配帧集合G＝＝{J₁,J₂,J₃,...J_k}，且

6.根据权利要求1所述的异步双目相机的深度估计方法，其特征在于，所述步骤S3具体包括：

S20、给定第一单目相机的当前帧

中的像素p，根据以p为中心的图像块M_p和p所对应的深度假设d，通过相机参数到第二单目相机匹配帧J∈G的对应投影位置q处提取相同大小的图像块M_q,计算图像块M_p和图像块M_q的匹配代价，通过给像素p赋值一组深度假设值，选择匹配代价最小的作为像素p的深度d_p；

S21、对第一单目相机的当前帧

中的每一像素执行步骤S20操作，形成当前帧

的深度图集合D＝{D₁,D₂,D₃,...D_k}；

S22、计算深度图集合D＝{D₁,D₂,D₃,...D_k}中每一深度图D_i∈D的置信度C_i，形成置信度集合C＝{C₁,C₂,C₃,...C_k}；

S23、基于深度图集合D＝{D₁,D₂,D₃,...D_k}和对应的置信度集合C＝{C₁,C₂,C₃,...C_k}，融合多组深度图，则对于任意像素位置的最终深度为

7.根据权利要求1所述的异步双目相机的深度估计方法，其特征在于，所述步骤S3中深度图的计算方法为深度学习方法或非学习方法。

8.一种用于实现权利要求1-7任意一项所述的异步双目相机的深度估计方法的系统，其特征在于，包括：

视频帧缓冲模块，在将任意两台单目相机以视线方向平行放置后，通过缓存分别存储两台单目相机在T秒内的视频帧；

匹配帧集合计算模块，用于分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，并计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；

深度计算模块，用于根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到；

所述视频帧缓冲模块、匹配帧集合计算模块和深度计算模块依次连接。

Images