CN113781538B - 一种图像深度信息融合方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种图像深度信息融合方法、系统、电子设备及存储介质，该方法包括：获取连续多帧RGB图像，基于在先图像的先验信息，通过多视几何三角化测量法计算目标图像中共视点的第一深度信息和第一协方差矩阵；基于训练好的深度学习网络，计算所述目标图像对应的深度图，提取深度图中共视点处的第二深度信息及对应的第二协方差矩阵；基于第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵计算融合后共视点的深度值；根据所述深度图中像素深度的相对关系，计算融合图像中共视点邻域的深度值。从而可以提升图像深度精确性的同时，大幅增加深度的空间覆盖范围，能够不受场景影响得到视场内所有目标深度信息。

Description

一种图像深度信息融合方法、系统、电子设备及存储介质

技术领域

本发明属于计算机视觉三维重建领域，尤其涉及一种图像深度信息融合方法、系统、电子设备及存储介质。

背景技术

图像深度信息是指计算机视觉中空间里的各个点相对于摄像头的距离值，基于距离信息可以方便计算实际场景中各点的相互距离。然而，空间视觉图像深度信息估计面临空间覆盖度与准度难以兼顾的问题，一般深度信息可以通过传感器测量，如激光雷达、光学相机等结合算法计算得到，也可以通过深度学习模型，预估图像深度信息。

目前，基于激光雷达、深度相机等设备得到图像深度信息，其设备昂贵，基于普通光学相机得到图像深度，易受场景影响(特征点数量、纹理信息等)、可获取目标有限，而采用深度学习网络得到深度信息，其深度信息提取精度有限。

发明内容

有鉴于此，本发明实施例提供了一种图像深度信息融合方法、系统、电子设备及存储介质，用于解决现有计算图像深度信息方法存在获取设备昂贵、易受场景影响或提取精度有限的问题。

在本发明实施例的第一方面，提供了一种图像深度信息融合方法，包括：

获取连续多帧RGB图像，基于在先图像的先验信息，通过多视几何三角化测量法计算目标图像中共视点的第一深度信息和第一协方差矩阵；

基于训练好的深度学习网络，计算所述目标图像对应的深度图，提取深度图中共视点处的第二深度信息及对应的第二协方差矩阵；

基于第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵计算融合后共视点的深度值；

根据所述深度图中像素深度的相对关系，计算融合图像中共视点邻域的深度值。

在本发明实施例的第二方面，提供了一种图像深度信息融合系统，包括：

第一深度信息获取模块，用于获取连续多帧RGB图像，基于在先图像的先验信息，通过多视几何三角化测量法计算目标图像中共视点的第一深度信息和第一协方差矩阵；

第二深度信息获取模块，用于基于训练好的深度学习网络，计算所述目标图像对应的深度图，提取深度图中共视点处的第二深度信息及对应的第二协方差矩阵；

第一融合计算模块，用于基于第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵计算融合后共视点的深度值；

第二融合计算模块，用于根据所述深度图中像素深度的相对关系，计算融合图像中共视点邻域的深度值。

在本发明实施例的第三方面，提供了一种装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例中，基于采集的光学图像，分别通过多视交汇算法和深度学习提取深度信息，对深度信息进行融合，从而可以得到精确度高、空间覆盖范围的深度信息，解决了传统深度信息提取精度低、易受场景设备限制等问题，可以在提升图像深度精确性的同时，大幅增加深度的空间覆盖范围，得到可靠性高的稠密深度图，保障三维重建场景的完整性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明一个实施例提供的一种图像深度信息融合方法的流程示意图；

图2为本发明一个实施例提供的一种图像深度信息融合方法的另一流程示意图；

图3为本发明一个实施例提供的一种图像深度信息融合系统的结构示意图。

图4为本发明的一个实施例提供的一种电子设备的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。

请参阅图1，本发明实施例提供的一种图像深度信息融合方法的流程示意图，包括：

S101、获取连续多帧RGB图像，基于在先图像的先验信息，通过多视几何三角化测量法计算目标图像中共视点的第一深度信息和第一协方差矩阵；

所述多帧RGB图像可以为普通光学相机连续采集的图像，一般至少为两帧或两帧以上，基于普通光学相机采集图像可以降低采集设备成本。所述在先图像指的是当前图像的前一帧或前连续的若干帧图像。其中，所述先验信息至少包括图像帧的位置信息、姿态信息以及两帧图像共视点像素位置信息。

所述多视几何三角化测量法是基于同一空间点的两帧图像，结合相机参数和相机模型来确定空间点的坐标，由此可以得到共视点(空间点)的深度信息。

所述第一深度信息为通过多视几何三角化测量法计算的共视点的深度值，所述第一协方差矩阵为通过多视几何三角化测量法计算的共视点的协方差矩阵。

S102、基于训练好的深度学习网络，计算所述目标图像对应的深度图，提取深度图中共视点处的第二深度信息及对应的第二协方差矩阵；

收集光学相机采集的RGB图像，对图像深度进行标注后作为样本，对深度学习网络进行训练、测试。通过训练后的深度学习网络，可以提取得到待识别图像对应的深度图。基于所述深度图可以直接得到共视点处的深度信息及相应的协方差矩阵。

所述第二深度信息为从深度图中提取的共视点处的深度值，所述第二协方差矩阵为基于深度图计算的共视点处的协方差。

S103、基于第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵计算融合后共视点的深度值；

具体的，结合第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵，根据公式(1)，计算融合后共视点的深度值：

D^a＝D^b+W·(D^o-D^b)；

其中，D^a表示共视点深度值，D^o表示第一深度值，D^b表示第二深度值，W为中间变量，Ω^o表示第一协方差矩阵，Ω^b表示第二协方差矩阵。

S104、根据所述深度图中像素深度的相对关系，计算融合图像中共视点邻域的深度值。

所述共视点邻域指以共视点位置对应的像素为中心，在一定半径范围内的区域，以共视点像素为中心取一定范围作为邻域，计算邻域的深度值。

具体的，基于深度学习得到的深度图中像素深度的相对关系，根据公式(2)，计算融合图像中共视点邻域的像素深度值：

D^(m，n)＝f({D^w||P^w-P^(m，n)|＜δ})；

其中，D^(m，n)表示(m，n)处像素点的深度值，f(·)表示非线性映射，D^w表示当前像素点邻域内的深度信息，δ表示邻域半径，P^w、P^(m，n)分别表示当前像素点及邻域内(m，n)处像素点，m、n表示邻域内像素点坐标。

需要说明的是，基于S103中获得共视点处深度值，可以对共视点中像素取一定范围的邻域，如半径为δ的邻域，求取邻域的深度值，对邻域及共视点之外的区域采用深度学习得到的深度图信息表示。通过计算邻域的深度值，可以提升共视点的精度和空间覆盖度，保障融合后深度图完整性和稠密度。

本实施例中，能在有效提升图像深度精确性的同时，大幅增加深度的空间覆盖范围。解决了传统的多视几何法面临深度稀疏性的难题，而基于深度学习的图像深度信息存在精度受限的问题，通过将两种深度信息融合，能同时兼顾深度信息的准确度及空间覆盖度。

在另一实施例中，如图2所示，对于采集的RGB图像帧，分别基于多视几何法、深度学习计算相应的深度图和协方差，通过S201中的融合算法可以得到稠密深度图。在步骤S201中，分别计算融合后共视点的深度值和共视点对应位置像素的深度值。，从而可以得到共视点的深度信息和尺度信息。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3为本发明实施例提供的一种深度图像融合系统的结构示意图，该系统包括：

第一深度信息获取模块310，用于获取连续多帧RGB图像，基于在先图像的先验信息，通过多视几何三角化测量法计算目标图像中共视点的第一深度信息和第一协方差矩阵；

其中，所述先验信息至少包括图像帧的位置信息、姿态信息以及两帧图像共视点像素位置信息。

第二深度信息获取模块320，用于基于训练好的深度学习网络，计算所述目标图像对应的深度图，提取深度图中共视点处的第二深度信息及对应的第二协方差矩阵；

第一融合计算模块330，用于基于第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵计算融合后共视点的深度值；

具体的，根据公式(1)，计算融合后共视点的深度值：

D^a＝D^b+W·(D^o-D^b)；

其中，D^a表示共视点深度值，D^o表示第一深度值，D^b表示第二深度值，W为中间变量，Ω^o表示第一协方差矩阵，Ω^b表示第二协方差矩阵。

第二融合计算模块340，用于根据所述深度图中像素深度的相对关系，计算融合图像中共视点邻域的深度值。

具体的，根据公式(2)，计算共视点邻域的像素点深度值：

D^(m，n)＝f({D^w||P^w-P^(m，n)|＜δ})；

其中，D^(m，n)表示(m，n)处像素点的深度值，f(·)表示非线性映射，D^w表示当前像素点邻域内的深度信息，δ表示邻域半径，P^w、P^(m，n)分别表示当前像素点及邻域内(m，n)处像素点，m、n表示邻域内像素点坐标。

所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。

图4是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于图像深度信息融合，实现三维重建，通常为计算机。如图4所示，该实施例的电子设备4包括：存储器410、处理器420以及系统总线430，所述存储器410包括存储其上的可运行的程序4101，本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图4对电子设备的各个构成部件进行具体的介绍：

存储器410可用于存储软件程序以及模块，处理器420通过运行存储在存储器410的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在存储器410上包含网络请求方法的可运行程序4101，所述可运行程序4101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器410中，并由处理器420执行，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序4101在所述电子设备4中的执行过程。例如，所述计算机程序4101可以被分割为深度信息获取模块和融合计算模块。

处理器420是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器410内的软件程序和/或模块，以及调用存储在存储器410内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器420可包括一个或多个处理单元；优选的，处理器420可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器420中。

系统总线430是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、VESA总线等。处理器420的指令通过总线传递至存储器410，存储器410反馈数据给处理器420，系统总线430负责处理器420与存储器410之间的数据、指令交互。当然系统总线430还可以接入其他设备，例如网络接口、显示设备等。

在本发明实施例中，该电子设备所包括的处理420执行的可运行程序包括：

获取连续多帧RGB图像，基于在先图像的先验信息，通过多视几何三角化测量法计算目标图像中共视点的第一深度信息和第一协方差矩阵；

基于训练好的深度学习网络，计算所述目标图像对应的深度图，提取深度图中共视点处的第二深度信息及对应的第二协方差矩阵；

基于第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵计算融合后共视点的深度值；

根据所述深度图中像素深度的相对关系，计算融合图像中共视点邻域的深度值。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种图像深度信息融合方法，其特征在于，包括：

获取连续多帧RGB图像，基于在先图像的先验信息，通过多视几何三角化测量法计算目标图像中共视点的第一深度信息和第一协方差矩阵；

基于训练好的深度学习网络，计算所述目标图像对应的深度图，提取深度图中共视点处的第二深度信息及对应的第二协方差矩阵；

基于第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵计算融合后共视点的深度值；

其中，根据公式(1)，计算融合后共视点的深度值：

D^a＝D^b+W·(D^o-D^b)；

式中，D^a表示共视点深度值，D^o表示第一深度值，D^b表示第二深度值，W为中间变量，Ω^o表示第一协方差矩阵，Ω^b表示第二协方差矩阵；

根据所述深度图中像素深度的相对关系，计算融合图像中共视点邻域的深度值；

其中，根据公式(2)，计算共视点邻域的像素点深度值：

D^(m，n)＝f({D^w||P^w-P^(m，n)|＜δ})；

式中，D^(m,n)表示(m,n)处像素点的深度值，f(·)表示非线性映射，D^w表示当前像素点邻域内的深度信息，δ表示邻域半径，P^w、P^(m，n)分别表示当前像素点及邻域内(m,n)处像素点，m、n表示邻域内像素点坐标。

2.根据权利要求1所述的方法，其特征在于，所述先验信息至少包括图像帧的位置信息、姿态信息以及两帧图像共视点像素位置信息。

3.根据权利要求1所述的方法，其特征在于，所述共视点邻域为共视点位置对应的像素在一定半径范围内的区域。

4.一种图像深度信息融合系统，其特征在于，包括：

第一深度信息获取模块，用于获取连续多帧RGB图像，基于在先图像的先验信息，通过多视几何三角化测量法计算目标图像中共视点的第一深度信息和第一协方差矩阵；

第二深度信息获取模块，用于基于训练好的深度学习网络，计算所述目标图像对应的深度图，提取深度图中共视点处的第二深度信息及对应的第二协方差矩阵；

第一融合计算模块，用于基于第一深度信息、第一协方差矩阵、第二深度信息和第二协方差矩阵计算融合后共视点的深度值；

其中，根据公式(1)，计算融合后共视点的深度值：

D^a＝D^b+W·(D^o-D^b)；

式中，D^a表示共视点深度值，D^o表示第一深度值，D^b表示第二深度值，W为中间变量，Ω^o表示第一协方差矩阵，Ω^b表示第二协方差矩阵；

第二融合计算模块，用于根据所述深度图中像素深度的相对关系，计算融合图像中共视点邻域的深度值；

其中，根据公式(2)，计算共视点邻域的像素点深度值：

D^(m，n)＝f({D^w||P^w-P^(m，n)|＜δ})；

式中，D^(m,n)表示(m,n)处像素点的深度值，f(·)表示非线性映射，D^w表示当前像素点邻域内的深度信息，δ表示邻域半径，P^w、P^(m，n)分别表示当前像素点及邻域内(m,n)处像素点，m、n表示邻域内像素点坐标。

5.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的一种图像深度信息融合方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至3任一项所述的一种图像深度信息融合方法的步骤。