CN112669220B - 深度图像插值方法、装置、设备和介质 - Google Patents

Abstract

本公开提供了一种深度图像插值方法、装置、设备和介质，涉及人工智能技术领域，具体涉及计算机视觉技术领域。该方法包括：获取待处理深度图像中多个有效深度点分别相应的深度信息；基于待处理深度图像，确定每一有效深度点的多个邻域，每一邻域包括一个或多个邻域点；针对每一有效深度点的每一邻域点，确定该邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重；针对每一有效深度点的每一邻域点，至少基于一个或多个关联权重，以及与该邻域点相关联的一个或多个有效深度点的深度信息，确定邻域点的传递深度信息；以及基于所确定的多个邻域点的传递深度信息，更新待处理深度图像。

Description

深度图像插值方法、装置、设备和介质

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉技术领域，特别涉及一种深度图像插值方法、装置、设备和介质。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

计算机视觉中，深度图像广泛应用于三维重建、自动驾驶、移动机器人、2D电影到3D电影的自动转换以及3D计算机图形学中的阴影映射等，这些应用需要确定每一个像素的深度信息。因此，如何提升深度图像的分辨率是计算机视觉领域的一个重要课题。相关技术中，可以将2D图像和稀疏深度图像输入卷积神经网络，通过卷积神经网络的多个卷积层之间的协同处理来得到稠密深度图像，但是，卷积神经网络在空间维度上只采用一个卷积核，对深度信息空间传播过程的描述过于简单，导致得到的稠密深度图像的准确性较低，进而对后续应用造成不良影响。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种深度图像插值方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供一种深度图像插值方法，包括：获取待处理深度图像中多个有效深度点分别相应的深度信息；基于所述待处理深度图像，确定所述多个有效深度点中每一有效深度点的多个邻域，每一所述邻域包括一个或多个邻域点；针对所述多个有效深度点中每一有效深度点的每一邻域点，确定所述邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重；针对所述多个有效深度点中每一有效深度点的每一邻域点，至少基于一个或多个所述关联权重，以及与所述邻域点相关联的一个或多个有效深度点的深度信息，确定所述邻域点的传递深度信息；以及基于所确定的多个邻域点的传递深度信息，更新所述待处理深度图像。

根据本公开的另一方面，还提供一种深度图像插值装置，包括：深度获取单元，被配置用于获取待处理深度图像中多个有效深度点分别相应的深度信息；邻域确定单元，被配置用于基于所述待处理深度图像，确定所述多个有效深度点中每一有效深度点的多个邻域，每一所述邻域包括一个或多个邻域点；权重确定单元，被配置用于针对所述多个有效深度点中每一有效深度点的每一邻域点，确定所述邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重；传递深度确定单元，被配置用于针对所述多个有效深度点中每一有效深度点的每一邻域点，至少基于一个或多个所述关联权重，以及与所述邻域点相关联的一个或多个有效深度点的深度信息，确定所述邻域点的传递深度信息；以及第一更新单元，被配置用于基于所确定的多个邻域点的传递深度信息，更新所述待处理深度图像。

根据本公开的另一方面，还提供一种电子设备，包括：存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器被配置为执行所述计算机程序以实现上述的方法的步骤。

根据本公开的另一方面，还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本公开的一个或多个实施例，可以针对具有已知深度信息的多个有效深度点，在待处理深度图像中确定每一有效深度点的多个邻域，并且针对每一有效深度点的每一邻域点，确定该邻域点与相关联的一个或多个有效深度点中每一有效深度点的关联权重，从而能够基于相关联的一个或多个有效深度点以及相应的关联权重，确定传播至每一邻域点的传递深度信息，并将所确定的多个邻域点的传递深度信息插入待处理深度图像中，对待处理深度图像进行更新，得到稠密深度图像。由此，通过基于相关联的一个或多个有效深度点确定待插值点的传递深度信息，能够在深度信息传播过程中有效考虑当前内容信息与空间位置，提高得到的稠密深度图像的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1是示出根据示例性实施例的深度图像插值方法的流程图；

图2是示出根据示例性实施例的有向图的结构示意图；

图3是示出根据示例性实施例的深度图像插值装置的示意性组成框图；

图4是示出根据示例性实施例的深度图像插值装置的工作过程示意图；

图5是示出能够应用于示例性实施例的示例性电子设备的结构框图。

具体实施方式

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

计算机视觉领域，相关技术中，可以将2D图像和稀疏深度图像输入卷积神经网络，通过卷积神经网络的多个卷积层之间的协同处理来得到稠密深度图像。但是，卷积神经网络在空间维度上只采用一个卷积核，然而深度信息的传播与当前内容信息与空间位置都有着极强的相关性。因此，通过卷积神经网络来提高深度图像分辨率，这种方式对深度信息空间传播过程的描述过于简单，导致得到的稠密深度图像的准确性较低。

为了解决上述技术问题，本公开提供一种深度图像插值方法，该方法针对具有已知深度信息的多个有效深度点，在稀疏深度图像(即待处理深度图像)中确定每一有效深度点的多个邻域，并且针对每一有效深度点的每一邻域点，确定该邻域点与相关联的一个或多个有效深度点中每一有效深度点的关联权重，从而能够基于相关联的一个或多个有效深度点以及相应的关联权重，确定传播至每一邻域点的传递深度信息，并将所确定的多个邻域点的传递深度信息插入待处理深度图像中，对待处理深度图像进行更新，得到稠密深度图像。由此，通过基于相关联的一个或多个有效深度点确定待插值点的传递深度信息，能够在深度信息传播过程中有效考虑当前内容信息与空间位置，提高得到的稠密深度图像的准确性。

与邻域点相关联的有效深度点可以是指该邻域点位于该有效深度点的其中一个邻域内，为该有效深度点的一个邻域点。可以理解的是，一个有效深度点也可以是另一有效深度点的邻域点。

通过本公开的技术方案得到的稠密深度图像可以但不限于应用于三维重建、自动驾驶、移动机器人、2D电影到3D电影的自动转换以及3D计算机图形学中的阴影映射等。

以下将结合附图对本公开的深度图像插值方法进行进一步描述。

图1是示出根据本公开示例性实施例的深度图像插值方法的流程图。如图1所示，该深度图像插值方法可以包括：步骤S101、获取待处理深度图像中多个有效深度点分别相应的深度信息；步骤S102、基于所述待处理深度图像，确定所述多个有效深度点中每一有效深度点的多个邻域，每一所述邻域包括一个或多个邻域点；步骤S103、针对所述多个有效深度点中每一有效深度点的每一邻域点，确定所述邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重；步骤S104、针对所述多个有效深度点中每一有效深度点的每一邻域点，至少基于一个或多个所述关联权重，以及与所述邻域点相关联的一个或多个有效深度点的深度信息，确定所述邻域点的传递深度信息；步骤S105、基于所确定的多个邻域点的传递深度信息，更新所述待处理深度图像。由此，通过基于相关联的一个或多个有效深度点确定待插值点(即邻域点)的传递深度信息，能够在深度信息传播过程中有效考虑当前内容信息与空间位置，提高得到的稠密深度图像的准确性。

每一有效深度点可以对应图像中的一个像素。每一邻域点可以对应图像中的一个像素，也可以对应图像中的一个区域(包括多个像素)。本公开中的术语“多个”可以包括两个或两个以上。

待处理深度图像可以为稀疏深度图像，该图像中仅有部分像素(包括所述多个有效深度点)的深度信息为已知，其它像素的深度信息未知。可以为待处理深度图像中深度信息未知的像素赋予预设值，也就是说，可以将所述待处理图像的除所述多个有效深度点以外的每一像素赋值为预设值。该预设值例如可以但不限于为0。示例性的，可以设定阈值，以界定深度信息和非深度信息。可以基于该设定阈值，对待处理深度图像进行空间维度上的遍历，将稀疏深度图像中具有深度信息的多个有效深度点集提取出来。进一步地，还可以对所提取的每一有效深度点集的深度信息进行编码，以便于后续计算。对深度信息的编码例如可以但不限于为深度信息的恒等变换。

在建立待处理深度图像时，本公开中不限定多个有效深度点的具体确定方式，可以根据具体的应用场景来设定。例如，对于人脸深度图像，多个有效深度点可以包括人脸的多个关键点，可以计算多个关键点的深度信息，以建立稀疏深度图像(即待处理深度图像)。

示例性的，可以基于双目视差原理来计算多个有效深度点的深度信息。可以理解的是，也可以利用其它方式来计算多个有效深度点的深度信息。

根据一些实施例，步骤S102中可以按照以下方式中的至少其中之一确定任一所述有效深度点的多个邻域：4邻域、8邻域、半径为设定值的网格邻域、可变形邻域。以4邻域为例，有效深度点的4个邻域可以分别为位于该有效深度点上方的一个像素点或一个像素区域、位于该有效深度点下方的一个像素点或一个像素区域、位于该有效深度点左侧的一个像素点或一个像素区域，以及位于该有效深度点右侧的一个像素点或一个像素区域。相对于4邻域，有效深度点的8个邻域可以增加位于该有效深度点的两条斜对角线上的4个邻域。也可以对邻域的不同确定方式进行组合，来确定有效深度点的多个邻域。例如，有效深度点的多个邻域可以包括与该有效深度点边相邻和顶点相邻的8个像素，以及位于该8个像素外围的4个邻域。

示例性的，在为待处理深度图像中深度信息未知的像素赋予预设值(例如，0)的情况下，以一个邻域点对应一个像素为例，若该邻域点的深度信息未知，则该邻域点的像素值为所赋予的预设值；而若该邻域点的深度信息已知，则该邻域点的像素值为相应的深度信息。

在确定多个有效深度点中每一有效深度点的多个邻域之后，可以执行步骤S103，以确定每一邻域点的与传递深度信息相关的关联权重。

示例性的，步骤S103中针对每一所述有效深度点的每一邻域点，可以但不限于将所述邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的欧几里得距离确定为相应的关联权重。

根据一些实施例，该方法还可以包括：以所述多个有效深度点和多个有效深度点各自相应的多个邻域点作为顶点，建立初始深度有向图，其中，所述初始深度有向图中的有效深度点包括深度信息。在这种情况下，步骤S104可以基于初始深度有向图和相应的关联权重，确定多个邻域点的传递深度信息。由此，通过有向图能够清晰表示邻域点之间、有效深度点之间、邻域点和有效深度点之间的关系，并且各顶点之间通过有向边连接，能够表示深度信息的传播方向，从而能够基于有向图准确确定传递至邻域点的传递深度信息。需要说明的是，在此不限定仅能利用有向图来确定传递至邻域点的传递深度信息。

根据一些实施例，初始深度有向图中每一条有向边的起点可以为所述多个有效深度点中的其中之一，终点可以为该有效深度点相应的一个邻域点。由此，能够便于实现有效保护有效深度点的深度信息，克服利用二维卷积神经网络来获取稠密深度图像的方式未对已知的可靠深度信息采取足够的保护措施，使得可靠深度信息在空间传播过程中大量流失的问题。示例性的，每一有向边可以包括相应的关联权重。

在图2示意的示例中，有向图的顶点包括有效深度点201a和201b，有效深度点201a包括邻域点201a-1、201a-2、201a-3、201a-4，有效深度点201b包括邻域点201b-1、201b-2、201b-3、201b-4。图2中有效深度点201b可以为有效深度点201a的一个邻域点201a-3，有效深度点201a可以为有效深度点201b的一个邻域点201b-2。可以理解的，虽然图2中仅示意了2个有效深度点，每一有效深度点包括4个邻域点，但此处并不限定有向图的有效深度点的具体数量，以及每一有效深度点的邻域点的具体数量，也不限定每一有效深度点的邻域点数量必须相同。

示例性的，邻域点201a-1、201a-2的特征值可以为预设值，例如，0。邻域点201a-3的特征值可以为有效深度点201b的深度信息。

根据一些实施例，建立初始深度有向图可以包括：获取待处理深度图像中多个有效深度点分别相应的图像空间信息，以及每一有效深度点相应的多个邻域点分别相应的图像空间信息；以及基于预设的映射函数对多个有效深度点分别相应的图像空间信息进行映射，以得到所述初始深度有向图中多个有效深度点的图空间信息，以及基于所述映射函数对每一有效深度点相应的多个邻域点分别相应的图像空间信息进行映射，以得到所述初始深度有向图中每一有效深度点相应的多个邻域点分别相应的图空间信息。其中，所述初始深度有向图的所有顶点包括图空间信息，所述映射函数为可逆函数。由此，通过基于可逆的映射函数将有效深度点和邻域点的位置信息映射到有向图中的位置信息，从而能够基于实现初始深度有向图的顶点和待处理深度图像中的点的双向映射，便于后续将有向图中顶点的深度传递信息映射至待处理深度图像中，以基于有向图更新待处理深度图像，得到稠密深度图像。

根据一些实施例，在初始深度有向图中每一条有向边的起点为所述多个有效深度点中的其中之一，终点为该有效深度点相应的一个邻域点的情况下，步骤S104、确定多个邻域点的传递深度信息可以包括：针对所述初始深度有向图中每个入度非0的顶点，基于通过相关边与该顶点相关联的一个或多个有效深度点的深度信息，以及该顶点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重，确定该顶点的融合传输信息；以及至少基于相应的所述融合传输信息，确定入度非0的所有顶点各自相应的传递深度信息。有向图中的一个顶点的入度可以是指以该顶点为终点的有向边的条数。由此，通过计算入度非0的所有顶点的融合传输信息，能够确定多个有效深度点分别相应的所有邻域点的传递深度信息。另一方面，有效深度点的深度信息能够在空间上得到传播，并且能够有效保护有效深度点的深度信息。

示例性的，若一个邻域点不具有已知的深度信息，则在有向图中与该邻域点位置对应的顶点的传递深度信息可以为相应的融合传输信息。若一个邻域点具有已知的深度信息，则在有向图中与该邻域点位置对应的顶点的传递深度信息例如可以为相应的融合传输信息和已知的深度信息之和。

根据一些实施例，步骤S104中确定入度非0的顶点的融合传输信息可以包括：基于通过一条相关边与该顶点相关联的一个有效深度点的深度信息，以及该顶点与该有效深度点之间的关联权重，计算该顶点的一个传输信息；以及基于该顶点相应的多个传输信息，确定该顶点的融合传输信息。示例性的，可以但不限于计算该顶点相关联的一个有效深度点的深度信息和该顶点与该有效深度点之间的关联权重之间的乘积，将乘积作为该顶点的一个传输信息。例如，也可以通过编码器对该顶点相关联的有效深度点的深度信息以及相应的关联权重输入编码器，得到该顶点的一个传输信息。示例性的，可以但不限于对该顶点相应的多个传输信息进行求和，来确定该顶点的融合传输信息。也可以对该顶点相应的多个传输信息进行取最大值，将最大的传输信息确定为该顶点的融合传输信息。

根据一些实施例，步骤S104、确定多个邻域点的传递深度信息还可以包括：基于入度非0的所有顶点各自相应的传递深度信息，对所述初始深度有向图进行更新，以得到有效深度有向图。在这种情况下，步骤S105可以基于有效深度有向图中入度非0的所有顶点的传递深度信息，更新所述待处理深度图像，以得到稠密深度图像。示例性的，在基于可逆的映射函数将有效深度点和邻域点的图像空间信息映射到有向图中的图空间信息的情况下，可以基于映射函数的逆函数以及有效深度有向图中入度非0的所有顶点的图空间信息，将有效深度有向图中入度非0的所有顶点的传递深度信息映射至待处理图像中位置相应的点。

根据本公开的另一方面，还提供一种深度图像插值装置。如图3所示，该深度图像插值装置300可以包括：深度获取单元301，被配置用于获取待处理深度图像中多个有效深度点分别相应的深度信息；邻域确定单元302，被配置用于基于所述待处理深度图像，确定所述多个有效深度点中每一有效深度点的多个邻域，每一所述邻域包括一个或多个邻域点；权重确定单元303，被配置用于针对所述多个有效深度点中每一有效深度点的每一邻域点，确定所述邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重；传递深度确定单元304，被配置用于针对所述多个有效深度点中每一有效深度点的每一邻域点，至少基于一个或多个所述关联权重，以及与所述邻域点相关联的一个或多个有效深度点的深度信息，确定所述邻域点的传递深度信息；以及第一更新单元305，被配置用于基于所确定的多个邻域点的传递深度信息，更新所述待处理深度图像。

这里，深度图像插值装置300的上述各单元301～305的操作分别与前面描述的步骤S101～S105的操作类似，在此不再赘述。

根据一些实施例，如图4所示，该装置还可以包括：建立单元406，被配置用于以所述多个有效深度点和各自相应的多个邻域点作为顶点建立初始深度有向图，其中，所述初始深度有向图中的有效深度点包括深度信息。在这种情况下，传递深度确定单元404可以被配置用于基于初始深度有向图和相应的关联权重，确定多个邻域点的传递深度信息。图4中的单元401-405与图3中的单元301-305分别相对应。

根据一些实施例，该建立单元可以包括：空间信息获取单元，被配置用于获取待处理深度图像中多个有效深度点分别相应的图像空间信息，以及每一有效深度点相应的多个邻域点分别相应的图像空间信息；以及映射单元，被配置用于基于预设的映射函数对多个有效深度点分别相应的空间信息进行映射，以得到所述初始深度有向图中多个有效深度点的图空间信息，以及基于所述映射函数对每一有效深度点相应的多个邻域点分别相应的图像空间信息进行映射，以得到所述初始深度有向图中每一有效深度点相应的多个邻域点分别相应的图空间信息。其中，所述初始深度有向图的所有顶点可以包括图空间信息，所述映射函数为可逆函数。

示例性的，所述初始深度有向图中每一条有向边的起点为所述多个有效深度点中的其中之一，终点该有效深度点相应的一个邻域点。

根据一些实施例，传递深度确定单元可以包括：第一确定单元，被配置用于针对所述初始深度有向图中每个入度非0的顶点，基于通过相关边与该顶点相关联的一个或多个有效深度点的深度信息，以及该顶点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重，确定该顶点的融合传输信息；以及第二确定单元，被配置用于至少基于相应的所述融合传输信息，确定入度非0的所有顶点各自相应的传递深度信息。

示例性的，传递深度确定单元的第一确定单元可以包括：计算子单元，被配置用于基于通过一条相关边与该顶点相关联的一个有效深度点的深度信息，以及该顶点与该有效深度点之间的关联权重，计算该顶点的一个传输信息；以及确定子单元，被配置用于基于该顶点相应的多个传输信息，确定该顶点的融合传输信息。

根据一些实施例，如图4所示，该装置还可以包括：第二更新单元407，被配置用于基于入度非0的所有顶点各自相应的传递深度信息，对所述初始深度有向图进行更新，以得到有效深度有向图。在这种情况下，第一更新单元405可以被配置用于基于有效深度有向图中入度非0的所有顶点的传递深度信息，更新所述待处理深度图像。

根据一些示例性实施例，如图4所示，该深度图像插值装置的工作过程可以为：

深度获取单元401可以获取稀疏深度图像(即待处理深度图像)中多个有效深度点分别相应的深度信息和图像空间信息，其中，多个有效深度点的特征值为深度信息，稀疏深度图像中除去多个有效深度点以外的其它像素被赋予特征值为0；

邻域确定单元402可以基于稀疏深度图像，确定多个有效深度点中每一有效深度点的多个邻域，每一邻域包括多个邻域点；

权重确定单元403可以针对每一有效深度点的每一邻域点，确定该邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重；

建立单元406可以基于预设的映射函数对多个有效深度点分别相应的空间信息进行映射，以得到所述初始深度有向图中多个有效深度点的图空间信息，以及基于所述映射函数对每一有效深度点相应的多个邻域点分别相应的图像空间信息进行映射，以得到所述初始深度有向图中每一有效深度点相应的多个邻域点分别相应的图空间信息，并且以多个有效深度点和各自相应的多个邻域点作为顶点建立初始深度有向图。其中，初始深度有向图的各顶点包括特征值、图空间信息；

传递深度确定单元404可以针对入度非0的所有顶点中每一顶点，基于通过一条相关边与该顶点相关联的一个有效深度点的深度信息，以及该顶点与该有效深度点之间的关联权重，确定该顶点相应的传递深度信息；

第二更新单元407可以基于入度非0的所有顶点各自相应的传递深度信息，对所述初始深度有向图进行更新，以得到有效深度有向图；以及

第一更新单元405可以利用映射函数的可逆函数将入度非0的所有顶点的图空间信息映射得到稀疏深度图像中相应的图像空间信息，并基于有效深度有向图中入度非0的所有顶点的传递深度信息更新稀疏深度图像，以得到稠密深度图像。

根据本公开的另一方面，还提供一种电子设备，包括：存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器被配置为执行所述计算机程序以实现上述方法的步骤。

根据本公开的另一方面，还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。

参考图5，现将描述可以作为本公开的服务器或客户端的电子设备500的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506、输出单元507、存储单元508以及通信单元509。输入单元506可以是能向设备500输入信息的任何类型的设备，输入单元506可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元507可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元508可以包括但不限于磁盘、光盘。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如深度图像插值方法。例如，在一些实施例中，深度图像插值方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元801执行时，可以执行上文描述的深度图像插值方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度图像插值方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (22)

1.一种深度图像插值方法，包括：

获取待处理深度图像中多个有效深度点分别相应的深度信息；

基于所述待处理深度图像，确定所述多个有效深度点中每一有效深度点的至少一个邻域，每一所述邻域包括一个或多个邻域点；

针对所述多个有效深度点中每一有效深度点的每一邻域点，确定所述邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重；

针对每一所述有效深度点的每一邻域点，至少基于一个或多个所述关联权重，以及与所述邻域点相关联的一个或多个有效深度点的深度信息，确定所述邻域点的传递深度信息；以及

基于所确定的多个邻域点的传递深度信息，更新所述待处理深度图像，

其中，所述基于所确定的多个邻域点的传递深度信息更新所述待处理深度图像包括：

将所述多个邻域点的传递深度信息插入所述待处理深度图像中。

2.如权利要求1所述的方法，还包括：

以所述多个有效深度点和所述多个有效深度点各自相应的多个邻域点作为顶点，建立初始深度有向图，其中，所述初始深度有向图中的有效深度点包括深度信息，

其中，基于初始深度有向图和相应的关联权重，确定多个邻域点的传递深度信息。

3.如权利要求2所述的方法，其中，所述初始深度有向图中每一条有向边的起点为所述多个有效深度点中的其中之一，终点为该有效深度点相应的一个邻域点，每一条所述有向边包括相应的关联权重。

4.如权利要求3所述的方法，其中，确定多个邻域点的传递深度信息包括：

针对所述初始深度有向图中每个入度非0的顶点，基于通过相关边与该顶点相关联的一个或多个有效深度点的深度信息，以及该顶点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重，确定该顶点的融合传输信息；以及

至少基于相应的所述融合传输信息，确定入度非0的所有顶点各自相应的传递深度信息。

5.如权利要求4所述的方法，其中，确定多个邻域点的传递深度信息还包括：

基于入度非0的所有顶点各自相应的传递深度信息，对所述初始深度有向图进行更新，以得到有效深度有向图，

其中，基于有效深度有向图中入度非0的所有顶点的传递深度信息，更新所述待处理深度图像。

6.如权利要求4所述的方法，其中，确定该顶点的融合传输信息包括：

基于通过一条相关边与该顶点相关联的一个有效深度点的深度信息，以及该顶点与该有效深度点之间的关联权重，计算该顶点的一个传输信息；以及

基于该顶点相应的多个传输信息，确定该顶点的融合传输信息。

7.如权利要求2所述的方法，其中，建立初始深度有向图包括：

获取待处理深度图像中多个有效深度点分别相应的图像空间信息，以及每一有效深度点相应的多个邻域点分别相应的图像空间信息；以及

基于预设的映射函数对多个有效深度点分别相应的图像空间信息进行映射，以得到所述初始深度有向图中多个有效深度点的图空间信息，以及基于所述映射函数对每一有效深度点相应的多个邻域点分别相应的图像空间信息进行映射，以得到所述初始深度有向图中每一有效深度点相应的多个邻域点分别相应的图空间信息，

其中，所述初始深度有向图的所有顶点包括图空间信息，所述映射函数为可逆函数。

8.如权利要求1所述的方法，其中，针对每一所述有效深度点的每一邻域点，将所述邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的欧几里得距离确定为相应的关联权重。

9.如权利要求1所述的方法，还包括：

将所述待处理图像的除所述多个有效深度点以外的每一像素赋值为预设值。

10.如权利要求9所述的方法，其中，所述预设值为0。

11.如权利要求1所述的方法，其中，所述多个有效深度点中每一个所述有效深度点对应所述待处理深度图像的一个像素，每一所述有效深度点相应的每一邻域点对应所述待处理深度图像的一个像素。

12.如权利要求1所述的方法，其中，按照以下方式中的至少其中之一确定任一所述有效深度点的多个邻域：

4邻域、8邻域、半径为设定值的网格邻域、可变形邻域。

13.一种深度图像插值装置，包括：

深度获取单元，被配置用于获取待处理深度图像中多个有效深度点分别相应的深度信息；

邻域确定单元，被配置用于基于所述待处理深度图像，确定所述多个有效深度点中每一有效深度点的多个邻域，每一所述邻域包括一个或多个邻域点；

权重确定单元，被配置用于针对所述多个有效深度点中每一有效深度点的每一邻域点，确定所述邻域点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重；

传递深度确定单元，被配置用于针对所述多个有效深度点中每一有效深度点的每一邻域点，至少基于一个或多个所述关联权重，以及与所述邻域点相关联的一个或多个有效深度点的深度信息，确定所述邻域点的传递深度信息；以及

第一更新单元，被配置用于基于所确定的多个邻域点的传递深度信息，更新所述待处理深度图像，

其中，所述第一更新单元被配置为：

将所述多个邻域点的传递深度信息插入所述待处理深度图像中。

14.如权利要求13所述的装置，还包括：

建立单元，被配置用于以所述多个有效深度点和所述多个有效深度点各自相应的多个邻域点作为顶点建立初始深度有向图，其中，所述初始深度有向图中的有效深度点包括深度信息，

其中，所述传递深度确定单元被配置用于基于初始深度有向图和相应的关联权重，确定多个邻域点的传递深度信息。

15.如权利要求14所述的装置，其中，所述初始深度有向图中每一条有向边的起点为所述多个有效深度点中的其中之一，终点为该有效深度点相应的一个邻域点，每一条所述有向边包括相应的关联权重。

16.如权利要求15所述的装置，其中，所述传递深度确定单元包括：

第一确定单元，被配置用于针对所述初始深度有向图中每个入度非0的顶点，基于通过相关边与该顶点相关联的一个或多个有效深度点的深度信息，以及该顶点与相关联的一个或多个有效深度点中每一有效深度点之间的关联权重，确定该顶点的融合传输信息；以及

第二确定单元，被配置用于至少基于相应的所述融合传输信息，确定入度非0的所有顶点各自相应的传递深度信息。

17.如权利要求16所述的装置，还包括：

第二更新单元，被配置用于基于入度非0的所有顶点各自相应的传递深度信息，对所述初始深度有向图进行更新，以得到有效深度有向图，

其中，所述第一更新单元被配置用于基于有效深度有向图中入度非0的所有顶点的传递深度信息，更新所述待处理深度图像。

18.如权利要求16所述的装置，其中，所述第一确定单元包括：

计算子单元，被配置用于基于通过一条相关边与该顶点相关联的一个有效深度点的深度信息，以及该顶点与该有效深度点之间的关联权重，计算该顶点的一个传输信息；以及

确定子单元，被配置用于基于该顶点相应的多个传输信息，确定该顶点的融合传输信息。

19.如权利要求14所述的装置，其中，所述建立单元包括：

空间信息获取单元，被配置用于获取待处理深度图像中多个有效深度点分别相应的图像空间信息，以及每一有效深度点相应的多个邻域点分别相应的图像空间信息；以及

映射单元，被配置用于基于预设的映射函数对多个有效深度点分别相应的图像空间信息进行映射，以得到所述初始深度有向图中多个有效深度点的图空间信息，以及基于所述映射函数对每一有效深度点相应的多个邻域点分别相应的图像空间信息进行映射，以得到所述初始深度有向图中每一有效深度点相应的多个邻域点分别相应的图空间信息，

其中，所述初始深度有向图的所有顶点包括图空间信息，所述映射函数为可逆函数。

20.一种电子设备，包括：

存储器、处理器以及存储在所述存储器上的计算机程序，

其中，所述处理器被配置为执行所述计算机程序以实现权利要求1-12中任一项所述的方法的步骤。

21.一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-12中任一项所述的方法的步骤。

22.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-12中任一项所述的方法的步骤。