CN112785634A - 计算机装置与合成深度图产生方法 - Google Patents

Abstract

一种计算机装置与产生合成深度图的方法被公开。该计算机装置根据一影像的一影像深度图所包含的多个像素的多个像素深度与该影像的一稀疏点云图所包含的多个特征点的多个特征点深度，计算该稀疏点云图中的各个非特征点的一估算深度，且根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。

Description

计算机装置与合成深度图产生方法

技术领域

本发明的实施例是关于一种计算机装置及影像处理方法。更具体而言，本发明的实施例是关于一种计算机装置及合成深度图产生方法。

背景技术

在影像处理这个领域之中，经常会需要影像深度信息，以实现例如影像合成、扩增实境、混和实境等应用。在某些情况下，可以通过各种电脑演算法来产生一影像的一影像深度图，藉此取得该影像的深度信息。一般而言，一影像深度图会包含一影像中所有像素的深度，其中相邻像素之间的深度的差值可能是正确的，但是其绝对的深度不一定是正确的。因此，影像深度图所提供的深度信息具有完整性高，但正确率却不高的特性。在某些情况下，也可以通过同步定位与地图重建技术来产生一影像的一稀疏点云图，藉此取得该影像的深度信息。一般而言，一稀疏点云图只能提供一影像中的特征点的深度，其中该些特征点的深度的正确率高，但是非特征点的深度是未知的深度。因此，稀疏点云图所提供的深度信息具有正确率高，完整性低的特性。

如上所述，影像深度图和稀疏点云图的使用环境都受到限制，且通常来说，适合使用影像深度图的环境就不适合使用稀疏点云图，反之亦然。有鉴于此，将有必要针对传统的影像深度信息的提供方法进行改善。

发明内容

为了解决至少上述的问题，本发明的实施例提供了一种计算机装置，该计算机装置可包含互相电性连接的一存储器与一处理器。该存储器可用以存储一影像的一稀疏点云图以及该影像的一影像深度图，其中该稀疏点云图包含多个特征点与多个非特征点，各该多个特征点具有一特征点深度，该影像深度图包含多个像素，各该多个像素具有一像素深度。该处理器可用以根据该多个像素深度与该多个特征点深度，计算各该多个非特征点的一估算深度，并根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。

为了解决至少上述的问题，本发明的实施例还提供了一种合成深度图产生方法，且该合成深度图产生方法可包含以下步骤：

一计算机装置根据一影像的一影像深度图所包含的多个像素的多个像素深度与该影像的一稀疏点云图所包含的多个特征点的多个特征点深度，计算该稀疏点云图中的各个非特征点的一估算深度；以及

该计算机装置根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。

在本发明的实施例中，计算机装置保留了稀疏点云图中具有高正确率的特征点深度，且根据这些特征点深度以及具有高完整性的影像深度图中的像素深度来计算出稀疏点云图中的非特征点的估算深度，故根这些特征点深度以及这些非特征点的估算深度所产生的合成深度图能够提供具有高正确率以及高完整性的深度信息。除此之外，因该合成深度图具备了稀疏点云图的高正确率以及影像深度图的高完整性，故加该合成深度图也具有更高的适用性。

以上内容并非为了限制本发明，而只是概括地叙述了本发明可解决的技术问题、可采用的技术手段以及可达到的技术功效，以让本领域技术人员初步地了解本发明。根据检附的附图及以下的实施方式所记载的内容，本领域技术人员便可进一步了解本发明的各种实施例的细节。

附图说明

图1例示了根据某些实施例的用以产生影像的合成深度图的计算机装置的示意图。

图2例示了根据某些实施例的图1的计算机装置产生影像的合成深度图的流程的示意图。

图3例示了根据某些实施例的一影像的影像深度图、稀疏点云图、以及合成深度图的某些像素深度的长条图。

图4例示了根据某些实施例的合成深度图产生方法的示意图。

附图标记说明

如下所示：

1：计算机装置

11：处理器

13：存储器

15：摄影机

17：传输接口

IM：影像

IMS：稀疏点云图

IMD：影像深度图

2：产生合成深度图的流程

201、203a、203b、205、207：处理

3a、3b、3c：像素深度长条图

4：合成深度图产生方法

401、403：步骤

具体实施方式

以下将通过多个实施例来说明本发明，惟这些实施例并非用以限制本发明只能根据所述操作、环境、应用、结构、流程或步骤来实施。与本发明非直接相关的元件并未示出于附图中，但可隐含于附图中。于附图中，各元件(element)的尺寸以及各元件之间的比例仅是范例，而非用以限制本发明。除了特别说明之外，在以下内容中，相同(或相近)的元件符号可对应至相同(或相近)的元件。在可被实现的情况下，如未特别说明，以下所述的每一个元件的数量可以是一个或多个。

本公开使用的用语仅用于描述实施例，并不意图限制本发明。除非上下文另有明确说明，否则单数形式「一」也旨在包括多个形式。「包括」、「包含」等用语指示所述特征、整数、步骤、操作、元素及/或元件的存在，但并不排除一或多个其他特征、整数、步骤、操作、元素、元件及/或前述的组合的存在。用语「及/或」包含一或多个相关所列项目的任何及所有的组合。

图1例示了根据某些实施例的计算机装置的示意图。图1所示内容仅是为了举例说明本发明的实施例，而非为了限制本发明。图1所示的计算机装置1可以是一具有计算机功能的电子装置，例如但不限于：一服务器、一笔记型电脑、一平板电脑、一桌上型电脑、一移动装置等。计算机装置1也可以是指被设置在各种电子装置中的计算机晶片。

参照图1，计算机装置1基本上可包含互相电性连接的处理器11与存储器13。处理器11可以包含一或多个具备信号处理功能的微处理器(microprocessor)或微控制器(microcontroller)。微处理器或微控制器是一种可程式化的特殊集成电路，其具有运算、存储、输出/输入等能力，且可接受并处理各种编码指令，藉以进行各种逻辑运算与算术运算，并输出相应的运算结果)。处理器11可以针对输入的影像IM进行各种运算，举例而言，在某些实施例中，处理器11可计算影像IM的稀疏点云图IMS及/或影像深度图IMD、且根据影像IM的稀疏点云图IMS与影像深度图IMD产生影像IM的合成深度图(容后详述)。

存储器13可包含各种存储单元。举例而言，存储器13可包含第一级存储单元(又称主存储单元或内部存储单元)，其与中央处理单元(CPU)直接连接。除了第一级存储单元，在某些实施例中，存储器13还可包含第二级存储单元(又称外部存储单元或辅助存储单元)，其通过存储单元的I/O通道来与CPU连接。第二级存储单元可例如是各种类型的硬盘、光盘等。除了第一级存储单元与第二级存储单元，在某些实施例中，存储器13亦可包含第三级存储单元，例如可直接插入或自电脑拔除的存储单元，例如随身盘。在某些实施例中，存储器13还可包含云端存储单元。存储器13可存储计算机装置1本身产生的数据以及输入至计算机装置1的各种数据，例如影像IM、影像IM的稀疏点云图IMS、以及影像IM的影像深度图IMD等。

在某些实施例中，可选择地，计算机装置1还可包含与处理器11电性连接的摄影机15。摄影机15可以是各种具有动态撷取影像及/或静态撷取影像的功能的装置，例如但不限于：数码相机、录影机、或各种具有摄影功能的移动装置等。另外，摄影机15可以具备一有线连接器及/或一无线连接器，以经由有线或者无线的方式与计算机装置1连接。在某些实施例中，摄影机15也可以是设置在一计算机芯片中的一个摄影机模块。摄影机15可用以撷取影像IM以及影像IM的相关影像。

在某些实施例中，计算机装置1也可包含与处理器11电性连接的传输接口17。传输接口17可包含各种输入/输出元件，用以接收来自外部的数据以及输出数据至外部。传输接口17也可包含各种通讯元件，例如但不限于：乙太(Ethernet)通讯元件、互联网(Internet)通讯元件等，以与各种外部的电子装置或服务器连接，以进行各种数据的输入与输出。通过传输接口17，计算机装置1可从外部接收影像IM、影像IM的稀疏点云图IMS及/或影像深度图IMD，并将其存储至存储器13。

图2例示了根据某些实施例的图1的计算机装置1产生影像IM的合成深度图的流程2的示意图。图2所示内容仅是为了举例说明本发明的实施例，而非为了限制本发明。

在流程2中，首先计算机装置1可接收并存储影像IM及/或与影像IM相关的其他影像(标示为处理201)。详言之，在不同的实施例中，计算机装置1可通过摄影机15直接撷取影像IM与该其他相关影像并将其存储至存储器13中，或是通过传输接口17直接从外部接收影像IM与该其他相关影像并将其存储至存储器13中。影像IM与该其他相关影像是指在一场域中以不同摄影角度(不同的摄影机位置及摄影机的观看视线)所拍摄的影像。

在某些实施例中，在取得影像IM与该其他相关影像之后，计算机装置1可产生影像IM的稀疏点云图IMS，并将稀疏点云图IMS存储至存储器13(标示为处理203a)，其中影像IM的稀疏点云图IMP可包含多个特征点与多个非特征点，各该多个特征点具有一特征点深度。举例而言，计算机装置1的处理器11可以找出影像IM以及该其他相关影像中的共同特征点，并且针对每个共同特征点，基于相似三角形的原理找出该共同特征点在这些影像之间的视差，进而计算出每一个共同特征点的特征点深度。然后，处理器11可根据这些特征点深度，产生且存储影像IM的稀疏点云图IMS。在不同的实施例中，计算机装置1可通过各种演算法来计算影像IM的稀疏点云图，例如但不限于：ORB-SLAM2演算法、Stereo-Matching演算法、LSD-slam演算法。

在某些实施例中，计算机装置也可通过传输接口17直接从外部接收影像IM的稀疏点云图IMS并将其存储至存储器13中。

另一方面，在取得影像IM之后，计算机装置1可产生影像IM的影像深度图IMD，并将影像深度图IMD存储至存储器13(标示为处理203b)，其中影像深度图IMD包含多个像素，各该多个像素具有一像素深度。也就是说，影像深度图IMD中的所有像素或大多数像素各自具有一像素深度。举例而言，计算机装置1可先将影像IM转为RGB格式或是灰阶格式，接着将影像IM输入各种机器学习模型以产生出影像IM的影像深度图IMD，其中该些机器学习模型可以是根据各种现有的影像深度数据集(例如但不限于：KITTI数据集、NYU-depth数据集)训练而成。在不同的实施例中，计算机装置1可以使用各种演算法来计算影像IM的影像深度图IMD，例如但不限于：Fast-Depth演算法以及DF-Net演算法。

在某些实施例中，计算机装置也可通过传输接口17直接从外部接收影像IM的影像深度图IMD并将其存储至存储器13中。

在某些实施例中，计算机装置1可以同时进行图2所示的处理203a与处理203b。在某些实施例中，计算机装置1可以先进行处理203a，再进行处理203b。在某些实施例中，计算机装置1可以先进行处理203b，再进行处理203a。

在完成处理203a与处理203b之后，计算机装置1的处理器13可根据稀疏点云图IMS的多个特征点深度与影像深度图IMD的多个像素深度，计算稀疏点云图IMS的非特征点的估算深度(标示为处理205)。

在某些实施例中，在处理205中，处理器11可以通过梯度域运算来估算稀疏点云图IMS的非特征点的估算深度。详言之，处理器11可根据影像深度图IDM所提供的多个像素深度计算影像深度图IDM的多个像素的多个深度梯度，且在满足稀疏点云图IMS的多个非特征点的深度梯度与影像深度图IDM中相对应的像素的深度梯度之间的差异最小化的条件下，根据影像深度图IDM的该多个像素的该多个深度梯度与稀疏点云图IMS的多个特征点深度计算出稀疏点云图IMS的多个非特征点的多个估算深度。

处理器11可以通过一维梯度域运算或二维梯度域运算来估算稀疏点云图IMS的非特征点的估算深度。以下将以图3为例来说明如何通过一维梯度域运算来估算稀疏点云图IMS的非特征点的估算深度。图3例示了根据某些实施例的影像IM的影像深度图IMD、稀疏点云图IMS、以及合成深度图的某些像素深度的长条图。图3所示内容仅是为了举例说明本发明的实施例，而非为了限制本发明。

参照图3，一长条图3a被用来表示影像IM的稀疏点云图IMS的某些像素与其深度的关系。在长条图3a中，像素「0」、像素「1」、像素「6」与像素「7」表示特征点，而像素「2」、像素「3」、像素「4」与像素「5」表示非特征点。在长条图3a中，像素「0」、像素「1」、像素「6」与像素「7」的特征点深度分别为「3」、「6」、「1」、「2」。因像素「2」、像素「3」、像素「4」与像素「5」是非特征点，无深度信息。

继续参照图3，另一长条图3b被用来表示影像IM的影像深度图IMD的某些像素与其深度的关系。在长条图3b中，像素「0」至像素「7」各自具有一像素深度，分别是像素深度「4」、「3」、「4」、「3」、「5」、「4」、「3」、「2」。长条图3b所示的像素「0」至像素「7」分别对应到长条图3a所示的像素「0」至像素「7」。

本文中所提到的各种深度的单位可以为公尺(meter)。然而，在不同实施例中，深度的单位也可以例如是但不限于：公尺(meter)、公分(centimeter)、毫米(millimeter)、码(yard)、吋(inch)、呎(foot)等。

接下来，将计算长条图3a中属于非特征点的像素「2」、像素「3」、像素「4」、与像素「5」各自的估算深度。首先，处理器11可计算长条图3b中像素「2」至像素「5」中的每一个与在影像深度图IMD的X轴或Y轴上的相邻像素之间的一维深度梯度(即，一维深度差值)。举例而言，如长条图3b所示，像素「2」与像素「1」的深度梯度为「+1」(也就是，像素「2」的像素深度「4」减掉像素「1」的像素深度「3」的结果)。同样地，像素「3」与像素「2」的深度梯度为「-1」，像素「4」与像素「3」的深度梯度为「+2」，像素「5」与像素「4」的深度梯度为「-1」，像素「6」与像素「5」的深度梯度为「-1」。

接着，可根据以下函式，将稀疏点云图IMS中的非特征点(即，长条图3a中的像素「2」至像素「5」)的深度梯度(即，长条图3a中像素「2」至像素「5」(即，非特征点)与其相邻像素之间的一维深度梯度)与该影像深度图IMD中相对应的像素的深度梯度(即，长条图3b中像素「2」至像素「5」与其相邻像素之间的一维深度梯度)之间的差异定义为误差值Q。

Q＝((f₂-f₁)-1)²+((f₃-f₂)-(-1))²+((f₄-f₃)-2)²+((f₅-f₄)-(-1))²+((f₆-f₅)-(-1))²

(式一)

其中，f₁～f₆分别代表像素「1」至像素「6」的深度，(f₂-f₁)为像素「2」与像素「1」的深度梯度，(f₃-f₂)为像素「3」与像素「2」的深度梯度，以此类推。

长条图3a中的像素「1」与像素「6」是特征点，且分别具有特征点深度「6」与「1」(即，f₁＝6且f₆＝1)。将f₁与f₆的数值带入(式一)之后，(式一)可以被表示如下：

Q＝2f₂ ²+2f₃ ²+2f₄ ²+2f₅ ²-16f₂+6f₃-6f₄-2f₅-2f₃f₂-2f₄f₃-2f₅f₄+59

(式二)

接着，处理器11须找出能使误差值Q最小化的一组f₂、f₃、f₄、f₅的数值。在某些实施例中，如下所示，处理器11可针对f₂、f₃、f₄、f₅来分别对误差值Q进行偏微分，并令其等于零，以找出误差值Q的最小值：

(式三)、(式四)、(式五)与(式六)可以矩阵形式来表示如下：

如下所示，在对(式七)进行矩阵运算之后，将可以取得f₂、f₃、f₄、f₅的数值：

根据(式八)可知，当f₂＝6、f₃＝4、f₄＝5以及f₅＝3的情况下，可以得到误差值Q的最小值。也就是，当长条图3a中的像素「2」、像素「3」、像素「4」与像素「5」的估算深度分别为「6」、「4」、「5」与「3」时，可以使得误差值Q最小化。

通过上述梯度域运算来估算稀疏点云图IMS中的非特征点的估算深度并非限制。在某些实施例中，亦可通过其他估算方式来估算稀疏点云图IMS中的非特征点的估算深度。

在某些实施例，若采用二维深度梯度运算，则处理器11可计算像素「2」至像素「5」中的每一个与在影像深度图IMD的X轴以及Y轴上的相邻像素之间的二维深度梯度(即，二维深度差值)。在这些实施例中，可将(式一)至(式六)修改为二维表示式，然后通过进行相似的操作，来取得像素「2」至像素「5」各自的估算深度。

在完成处理205之后，计算机装置1可根据稀疏点云图IMS中的特征点的特征点深度与非特征点的估算深度，产生影像IM的合成深度图(标示为处理207)。参照图3，一长条图3c可用来表示影像IM的合成深度图的某些像素与其深度的关系。详言之，在长条图3c中，处理器11保留长条图3a中的特征点(也就是，像素「0」、像素「1」、像素「6」与像素「7」)的特征深度(分别为「3」、「6」、「1」与「2」)，且将像素「2」、像素「3」、像素「4」与像素「5」的深度分别设定为以上针对稀疏点云图IMS中的非特征点所计算的估算深度(即，设定为「6」、「4」、「5」与「3」)。

图3所示的处理201、处理203a与处理203b可以选择性地被实施。举例而言，在已经通过传输接口17从外部接收影像IM的稀疏点云图IMS以及影像深度图IMD的情况下，计算机装置1可以不进行处理201、处理203a与处理203b，且直接进行处理205与处理207，以产生影像IM的合成深度图。又举例而言，在已经通过传输接口17从外部接收影像IM的稀疏点云图IMS的情况下，计算机装置1也可以不进行处理203a；而在已经通过传输接口17从外部接收影像IM的影像深度图IMD的情况下，计算机装置1也可以不进行处理203b。

图4例示了根据某些实施例的一种合成深度图产生方法的示意图。图4所示内容仅是为了举例说明本发明的实施例，而非为了限制本发明。

参照图4，合成深度图产生方法4可包含以下步骤：一计算机装置根据一影像的一影像深度图所包含的多个像素的多个像素深度与该影像的一稀疏点云图所包含的多个特征点的多个特征点深度，计算该稀疏点云图中的各个非特征点的一估算深度(标示为步骤401)；以及该计算机装置根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图(标示为步骤403)。

在某些实施例中，步骤401还可包含：根据该多个像素深度计算该多个像素的多个深度梯度；以及在满足该多个非特征点的深度梯度与该影像深度图中相对应的像素的深度梯度之间的差异最小化的条件下，根据该多个像素的该多个深度梯度与该多个特征点深度计算出该多个估算深度。

在某些实施例中，合成深度图产生方法4还可包含以下步骤：该计算机装置在一场域中撷取该影像；以及该计算机装置通过Fast-Depth演算法以及DF-Net演算法的其中之一来计算出该影像的该影像深度图，并将该影像深度图存储到该计算机装置中。

在某些实施例中，合成深度图产生方法4还可包含以下步骤：该计算机装置在一场域中以不同的摄影角度撷取该影像以及其他相关影像；以及该计算机装置根据该影像以及该其他相关影像，通过ORB-SLAM2演算法、Stereo-Matching演算法、LSD-slam演算法的其中之一来计算出该影像的该稀疏点云图，并将该稀疏点云图存储到该计算机装置中。

在某些实施例中，合成深度图产生方法4的上述全部步骤可以由计算机装置1来执行。除了上述步骤之外，合成深度图产生方法4还可以包含与计算机装置1的上述所有实施例相对应的其他步骤。因本领域技术人员可根据上文针对计算机装置1的说明而了解这些其他步骤，于此不再赘述。

上述实施例只是举例来说明本发明，而非为了限制本发明。任何针对上述实施例进行修饰、改变、调整、整合而产生的其他实施例，只要是本领域技术人员不难思及的，都涵盖在本发明的保护范围内。本发明的保护范围以权利要求为准。

Claims (8)

1.一种计算机装置，其特征在于，包含：

一存储器，用以存储一影像的一稀疏点云图以及该影像的一影像深度图，其中该稀疏点云图包含多个特征点与多个非特征点，各该多个特征点具有一特征点深度，该影像深度图包含多个像素，各该多个像素具有一像素深度；以及

一处理器，电性连接至该存储器，且用以根据该多个像素深度与该多个特征点深度，计算各该多个非特征点的一估算深度，并根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。

2.如权利要求1所述的计算机装置，其特征在于，该处理器计算该多个估算深度的过程包含：根据该多个像素深度计算该多个像素的多个深度梯度，且在满足该多个非特征点的深度梯度与该影像深度图中相对应的像素的深度梯度之间的差异最小化的条件下，根据该多个像素的该多个深度梯度与该多个特征点深度计算出该多个估算深度。

3.如权利要求1所述的计算机装置，其特征在于，还包含：

一摄影机，电性连接至该处理器，用以在一场域中撷取该影像；

其中该处理器还用以通过Fast-Depth演算法以及DF-Net演算法的其中之一来计算出该影像的该影像深度图，并将该影像深度图存储到该存储器中。

4.如权利要求1所述的计算机装置，其特征在于，还包含：

一摄影机，电性连接至该处理器，用以在一场域中以不同的摄影角度撷取该影像以及其他相关影像；

其中该处理器还用以根据该影像以及该其他相关影像，通过ORB-SLAM2演算法、Stereo-Matching演算法、LSD-slam演算法的其中之一来计算出该影像的该稀疏点云图，且将该稀疏点云图存储到该存储器中。

5.一种合成深度图产生方法，其特征在于，包含：

一计算机装置根据一影像的一影像深度图所包含的多个像素的多个像素深度与该影像的一稀疏点云图所包含的多个特征点的多个特征点深度，计算该稀疏点云图中的各个非特征点的一估算深度；以及

该计算机装置根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。

6.如权利要求5所述的合成深度图产生方法，其特征在于，计算该多个估算深度还包含：

根据该多个像素深度计算该多个像素的多个深度梯度；以及

在满足该多个非特征点的深度梯度与该影像深度图中相对应的像素的深度梯度之间的差异最小化的条件下，根据该多个像素的该多个深度梯度与该多个特征点深度计算出该多个估算深度。

7.如权利要求5所述的合成深度图产生方法，其特征在于，还包含：

该计算机装置在一场域中撷取该影像；以及

该计算机装置通过Fast-Depth演算法以及DF-Net演算法的其中之一来计算出该影像的该影像深度图，并将该影像深度图存储到该计算机装置中。

8.如权利要求5所述的合成深度图产生方法，其特征在于，还包含：

该计算机装置在一场域中以不同的摄影角度撷取该影像以及其他相关影像；以及

该计算机装置根据该影像以及该其他相关影像，通过ORB-SLAM2演算法、Stereo-Matching演算法、LSD-slam演算法的其中之一来计算出该影像的该稀疏点云图，并将该稀疏点云图存储到该计算机装置中。

Images