CN112862680A - 图像插值方法及其装置、设备和介质 - Google Patents

Abstract

本公开涉及一种图像插值方法和装置，涉及计算机视觉技术领域。该方法包括：确定待处理图像的有效特征梯度图和扩散系数矩阵；基于有效特征梯度图和扩散系数矩阵，确定待处理图像的有效传输信息；以及基于有效传输信息，更新待处理图像，得到插值图像。

Description

图像插值方法及其装置、设备和介质

技术领域

本公开涉及计算机视觉技术领域，特别涉及图像插值方法及其装置、设备和介质。

背景技术

插值指的是利用已知数据去预测未知数据，而图像插值则是指给定一个像素点，根据它周围像素点的信息来对该像素点的值进行预测。由于图像插值技术可以预测像素点的信息，因此可以用于给定图像的细化处理。

现有技术图像插值方法拘泥于现有的简单函数形式，如线性插值、双线性插值等，这些插值处理与像素点的空间位置和内容信息无关，无法实现有效拟合。因此，使用现有技术的插值处理而获得的图像质量较差、还原度较低。因此，如何提高图像插值的拟合度，以提高图像处理质量已经成为本领域的一个重要课题。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种图像插值方法及其装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供一种图像插值方法，包括：确定待处理图像的有效特征梯度图和扩散系数矩阵；基于有效特征梯度图和扩散系数矩阵，确定待处理图像的有效传输信息；以及基于有效传输信息，更新待处理图像，得到插值图像。

根据本公开的一方面，提供一种深度图插值方法，包括：获取待处理图像，所述待处理图像包括具有深度信息的多个有效深度点；采用上述的图像插值方法对所述待处理图像进行插值处理，以对所述待处理图像进行深度插值。

根据本公开的一方面，提供一种语义分割方法，包括：对初始图像进行语义分割，得到待处理图像；采用上述的图像插值方法对所述待处理图像进行插值处理。

根据本公开的另一方面，还提供一种图像插值装置，包括：梯度图生成单元、扩散系数矩阵生成单元、有效传输信息生成单元和更新单元。其中，梯度图生成单元配置成确定待处理图像的有效特征梯度图。扩散系数矩阵生成单元配置成确定待处理图像的扩散系数矩阵。有效传输信息生成单元配置成基于有效特征梯度图和扩散系数矩阵，确定待处理图像的有效传输信息。更新单元，配置成基于有效传输信息，更新待处理图像，得到插值图像。

根据本公开的另一方面，还提供一种深度图插值装置，包括：深度图获取单元，配置成获取待处理图像，所述待处理图像包括具有深度信息的多个有效深度点；以及上述的图像插值装置，配置成对所述待处理图像进行插值处理，以对所述待处理图像进行深度插值，其中，所述多个预设点包括所述多个有效深度点。

根据本公开的另一方面，还提供一种语义分割装置，包括：语义分割单元，配置成对初始图像进行语义分割，得到待处理图像；和上述的图像插值装置，配置成对所述待处理图像进行插值处理。

根据本公开的另一方面，还提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器被配置为执行所述计算机程序以实现上述方法的步骤。

根据本公开的另一方面，还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。

根据本公开的另一方面，还提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述方法的步骤。

在本公开中，首先确定待处理图像的有效特征梯度图，根据有效特征梯度图应用热力学扩散公式来计算有效传输信息。本公开的插值处理过程与空间位置和内容信息均相关，因此得到的待处理图像的特征值的拟合度更高，使获得的插值图像更加准确。相对于现有技术中简单的线性插值、双线性插值等，能够获得更高的图像处理质量。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1是示出根据本公开示例性实施例的图像插值方法的流程图；

图2是示出根据本公开示例性实施例的确定有效特征梯度图的步骤的流程图；

图3是根据本公开示例性实施例确定每个特征邻域图中的元素的过程的示意图；

图4是示出根据本公开示例性实施例的确定多个预设点中每一预设点相应的有效传输信息的方法的流程图；

图5是示出根据本公开示例性实施例的确定待处理图像的扩散系数矩阵的方法的流程图；

图6是示出根据本公开示例性实施例的图像插值装置的结构框图；

图7是示出根据本公开示例性实施例的梯度生成单元的的结构框图；

图8是示出根据本公开示例性实施例的有效传输信息生成单元的结构框图；

图9是示出根据本公开示例性实施例的嵌入神经网络的训练过程示意图；

图10是示出能够应用于示例性实施例的示例性电子设备的结构框图。

具体实施方式

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

以下将结合附图对本公开的图像插值方法进行进一步描述。

图1是示出根据本公开示例性实施例的图像插值方法的流程图。如图1所示，该图像插值方法一般性地包括以下步骤：S102，确定待处理图像的有效特征梯度图和扩散系数矩阵；S104，基于有效特征梯度图和扩散系数矩阵，确定待处理图像的有效传输信息；S106，基于有效传输信息，更新待处理图像，得到插值图像。由此，通过确定待处理图像的有效特征梯度图，能够实现根据有效特征梯度图应用热力学扩散公式来计算有效传输信息。本公开的插值处理过程与空间位置和内容信息均相关，因此得到的待处理图像的特征值的拟合度更高，使获得的插值图像更加准确。相对于现有技术中简单的线性插值、双线性插值等，能够获得更高的图像处理质量。

根据一些实施例，S102中确定待处理图像的有效特征梯度图可以包括：针对待处理图像的多个预设点，确定每一所述预设点的多个邻域，每一所述邻域包括一个或多个邻域点；以及基于所述多个预设点中每一所述预设点的特征值以及相应的多个邻域的特征值，确定所述待处理图像的有效特征梯度图。由此，图像插值处理过程与每个预设点的空间位置和内容信息均相关，从而得到的待处理图像的特征值的拟合度更高，使获得的插值图像更加准确。

本公开的原理可以为：利用热传导原理来获取每一预设点的有效传输信息，从而能够基于传输至该预设点的有效传输信息更新该预设点的特征值，得到插值图像。具体的，热力学扩散公式

本公开的扩散系数矩阵相当于k，有效特征梯度图相当于

有效传输信息相当于

在该公式中，

为热通量密度，k为扩散系数，

是温度梯度。热通量

又称为热流，是指单位时间通过单位面积的热能，是具有方向性的矢量，在热力学中，热通量是表征热量流动趋势的物理量。而在图像处理领域中，可以将T类比为每个图像的像素的特征值，

则为有效特征梯度图。k为扩散系数，在图像处理领域中，k值可以表示为一个张量。

上述预设点可以指图像上的单个像素或是紧邻的多个像素形成的像素块。在本实施例中，上述预设点定义为单个像素。当预设点定义为单个像素时，其邻域可以定义为与该像素紧邻的多个像素点，例如经典4邻域(即将与预设像素紧邻的上、下、左、右四个像素点定义为预设点的邻域)、经典8邻域(即将与预设像素紧邻的上、下、左、右、左上、右上、左下、右下四个像素点定义为预设点的邻域)、半径为h的网格邻域(以预设点为圆心划定一个半径为h的图像区域，其中包含的像素定义为预设点的邻域)、可变形邻域，以及前述多种邻域的串联或并联等。

图像中每一个预设点以及多个邻域都具有其各自的图像特征，上述图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征等，而特征值则是表示上述关系特征的数值。在本实施例中，上述特征值可以为像素的值。例如，可以先对待处理图像进行灰度处理，上述特征值可以为像素的灰度值。当然，在其他的一些实施例中，特征值还可以为表征图像其他的特征的数值，这里不再一一列举。示例性的，可以通过对待处理图像和多个特征邻域图进行差值计算来获得有效特征梯度图，其具体步骤将在图2中详细描述。

S102中扩散系数矩阵可以是预先设定的张量，也可以通过其他方式进行确定。在后续对图5的描述中将对如何获取扩散系数矩阵进行详细说明。

S104中可以根据对扩散系数矩阵以及有效特征梯度图进行乘法运算进而得到预设点的有效传输信息，其可以认为是图像信息的通量或者是图像信息的传递趋势。

S106中可以通过对待处理图像和有效传输信息进行数据级融合，来更新待处理图像中多个预设点的特征值，从而得到插值图像。以求和算子为例，最终得到的更新后的插值图像的某一预设点的特征值为待处理图像的相应点的特征值和有效传输信息两者之和。当然，在其他一些实施例中，还可以根据图像处理的要求适应性地选择其他常用算子，这些都是本领域技术人员所熟知的，这里不再一一列举。

优选地，在对待处理图像和有效传输信息进行数据级融合之前，可以采用不同的方式对不同预设点相应的有效传输信息进行预处理。上述预处理可以是二值化处理，例如对于有效传输信息中大于1的信息乘以一个系数，小于1的信息置为0，以便于后续的插值处理。

对待处理图像中的每个预设点进行特征值更新之后，即完成了对待处理图像的插值处理。上述插值处理方法可以应用于图像的局部细化和去噪等处理过程，以提高待处理图像的图像质量。

图2是示出图1所示方法中的确定有效特征梯度图的步骤的流程图。如图2所示，所述多个预设点的邻域数量可以相同。步骤S102一般性地包括以下步骤：S1022建立多个特征邻域图，所述特征邻域图的数量与每一所述预设点相应的邻域数量相同，每一所述特征邻域图的与所述待处理图像中每一预设点对应的位置被赋值为该预设点相应的其中一个邻域的特征值；S1024计算多个特征邻域图分别与所述待处理图像的差值，得到多个差值图像；S1026基于相应的所述差值图像，确定所述多个特征邻域图分别相应的多个有效特征梯度图。可以理解的是，所述多个预设点的邻域数量也可以不完全相同，或者互不相同。在这种情况下，可以确定多个预设点中所包括的邻域数量最大的预设点，并以该最大邻域数量建立每一预设点的多个特征邻域图(数量为最大邻域数量)，并计算该最大邻域数量和该预设点的邻域数量之差的差值，将该预设点的多个特征邻域图中数量为所述差值的一个或多个特征邻域图的所有像素赋值为特定值(例如，0)。

示例性的，设定预设点的邻域，例如4邻域、8邻域等。步骤S1022建立的上述特征邻域图的数量与每一预设点相应的邻域数量可以相同。例如，如果在步骤S102中设定了4邻域，那么在步骤S1022中，建立的特征邻域图的数量也应该是4个，如果在步骤S102中设定了8邻域，那么在步骤S1022中，特征邻域图的数量则为8个。为了提高最终插值图像的精确度，步骤S102中可以示例性地设定8邻域，并在步骤S1022中建立8个特征邻域图。

每一个特征邻域图中的元素通过以下方式确定：每一个特征邻域图的与待处理图像中每一预设点对应的位置被赋值为该预设点相应的其中一个邻域的特征值。下面将结合图3进一步解释每个特征邻域图中的元素的确定。我们以本实施例的8邻域的特征邻域图为例进行说明，如图3所示，图3左上示出了待处理图像，P11～Pnn代表待处理图像中的像素阵列中的每个元素的特征值。箭头所指的其它图像为根据待处理图像建立的八个特征邻域图A～H(为了简化附图，特征邻域图C～G未进行显示)。其中，特征邻域图A为根据8邻域中的左上邻域而建立的特征邻域图，具体地，例如元素A22对应于待处理图像P22的位置，而P11是以P22(在图中标记为Δ)为预设点的左上邻域，那么A22的值设定为以P22为预设点的其左上邻域(即，P11)的特征值，即A22＝P11。元素A23对应于待处理图像P23的位置，而P12是以P23为预设点的左上邻域，那么A23的值设定为以P23为预设点的其左上邻域(即，P12)的特征值。以此类推，将会得到完整的特征邻域图A。特征邻域图B为根据8邻域中的上邻域而建立的特征邻域图，具体地，元素B21对应于待处理图像P21的位置，而P11是以P21为预设点的上邻域，那么B21的值设定为以P21为预设点的其上邻域(即，P11)的特征值，即B21＝P11。元素B22对应于待处理图像P22的位置，而P12是以P22为预设点的上邻域，那么B22的值设定为以P22为预设点的其上邻域(即，P12)的特征值。以此类推，将会得到完整的特征邻域图B。同理，继续针对剩下的邻域(右上、左、右、左下、下、右下)建立特征邻域图，得到完整的8个特征邻域图。

如上，特征邻域图的个数是与之前所定义的邻域数量相关的。在本实施例中，可以为8邻域，而在本公开的其他实施例中，可以选择不同数量的邻域。例如，本领域技术人员希望减少计算设备的计算量，提高计算速度，那么可以选择4邻域，从而得到的相应特征邻域图的数量为4个。再例如，本领域技术人员希望增加最终获得的插值图像的精度，那么还可以选择定义大于8个的邻域，从而得到大于8个的特征邻域图。

另外，可以整合上述多个特征邻域图以形成维度大于待处理图像的图像数据维度的特征邻域图集合。例如，根据维度可表示为[B C H W]的多维待处理图像中每一图像的每个空间位置提取出其对应邻域位置上的特征，得到多个特征邻域图并将多个特征邻域图叠连在一个新构建的维度上。其中，B表示图像的批量数、C表示一批图像的通道数量，H表示图像高度，W表示图像宽度。若在步骤102中定于的邻域数量为N，则由此可以得到维度为[B CN H W]的特征邻域图集合。另外需要说明的是，根据上述方法得到的部分特征邻域图可能会出现边缘元素缺失的情况，例如，还以8邻域为例，根据上邻域建立的特征邻域图B，其第一个元素B11对应于待处理图像中的元素P11，但是元素P11的上邻域元素不存在(因为P11的上方没有元素)，因此元素B11也无法得到。而且明显地，B12～B1n均无法得到，特征邻域图B的第一行缺失。在这种情况下，可以将B12～B1n填充为预设的默认值，以填充默认值的方式来确保特征邻域图的规则性和完整性。当然，还可以以本领域其他常规技术手段来处理特征邻域图中缺失的元素，这些方法都是本领域技术人员所熟知的，这里不再一一列举。

在步骤S1024中，得到多个差值图像。例如，在本实施例中，建立了8个特征邻域图A～H，那么将8个特征邻域图A～H分别与待处理图像进行差值运算，进一步得到个8个差值图像A’～H’。在计算差值图像时，需要首先将待处理图像和相应的特征邻域图进行对齐，将相对应的元素的值相减。以A’的计算过程为例，A’中的第一个元素A’11设定为A11-P11，A’中的第二个元素A’12设定为A12-P12，以此类推，得到A’中的全部元素。然后通过同样的方法得到B’～H’。由此得到的差值图像A’～H’可以理解为待处理图像的特征值关于空间变化的微元。

在上述步骤S1024中计算得到多个差值图像A’～H’，用于后续计算有效特征梯度图。可以通过对待处理图像的每个预设点进行空间微分来得到有效特征梯度图。由于在上述步骤中已经对待处理图像的每个预设点的特征值矩阵化，因此，根据线性代数和微积分的相关知识，待处理图像的每个预设点的特征值的微分结果可以通过步骤S1024中计算得到的差值图像进行表示(差值图像的矩阵实际上就是待处理图像的特征值的微元)，因此可通过对相应的差值图像进行处理得到多个有效特征梯度图。示例性地，可以对多个特征邻域图分别相应的多个差值图像进行归一化处理，以得到每一特征邻域图相应的有效特征梯度图。

在本实施例中，由于定义了8邻域，具有8个差值图像，因此，有效特征梯度图也是8个，并且可以类似于特征邻域图的处理方法，将多个有效特征梯度图叠连在一个新构建的维度上。最终得到的有效特征梯度图将应用于步骤S104中，结合扩散系数矩阵，计算得到每一个预设点的有效传输信息。

图4是示出根据本公开示例性实施例的确定多个预设点中每一预设点相应的有效传输信息的方法的流程图。如图4所示，该方法一般性地包括以下步骤：S1042，针对每一所述特征邻域图，基于相应的有效特征梯度图和所述扩散系数矩阵，确定传输信息矩阵；以及S1044对多个特征邻域图分别相应的多个传输信息矩阵进行融合，得到有效传输信息矩阵，其中，所述有效传输信息矩阵包括所述多个预设点中每一预设点相应的有效传输信息。

对于每一个特征邻域图，均有与其相对应的有效特征梯度图，因此有效特征梯度图的数量可以与步骤S102中定于的邻域数量相同。如在步骤S1026中所描述的，在本实施例中，定义的邻域的数量为8个，有效特征梯度图的数量也是8个。

下面将详细描述如何基于相应的有效特征梯度图和扩散系数矩阵，确定传输信息矩阵。在本实施例中，将利用热力学扩散公式

来计算有效传输信息。在该公式中，

为热通量密度，k为扩散系数，

是温度梯度。热通量

又称为热流，是指单位时间通过单位面积的热能，是具有方向性的矢量，在热力学中，热通量是表征热量流动趋势的物理量。在本公开中，发明人将该热力学扩散公式应用于图像处理技术。具体地，在图像处理领域中，每个图像的像素的特征值可以类比为T，其具体表示特征值标量的分布，有效特征梯度图可以类比为

扩散系数矩阵可以类比为k。在图像领域中，扩散系数矩阵(为了便于描述，以下直接用k表示)可以呈现为一个确定的张量。可以预先设定k的具体值以便于后续计算，也可以通过其他方式更加精确的确定k。例如，可以通过嵌入神经网络来实现对k的确定，这部分内容将在下文进行详细描述。如此进行计算得到的表示预设点的传输信息矩阵其可以认为是图像信息的通量或者是图像信息的传递趋势。

步骤S1044中的融合属于邻域维度上的数据级的融合，例如，可以对多个传输信息矩阵的邻域维度上的元素进行求和运算，最终将8个传输信息矩阵融合为一个有效传输信息矩阵。

下面将结合图5和图9详细说明如何获得扩散系数矩阵k。图5是示出根据本公开示例性实施例的嵌入神经网络的训练方法的流程图。图9是用于实现图5方法的一种嵌入神经网络900的示意图。

如图9所示，上述嵌入神经网络900可以包括卷积神经网络910和嵌入层920。其中，卷积神经网络910包括多个级联的卷积层。多个卷积层包括靠近输入侧的浅层901和靠近输出侧的高层90n。嵌入层920的输入包括浅层901输出的浅层特征图和高层90n输出的高层特征图。上述嵌入层920包括conv单元921、bn单元922以及relu单元923等多个级联的单元，其中conv单元921配置成对两个向量进行卷积运算，bn单元922配置成对conv单元921生成的多通道的向量进行批量标准化，relu单元923配置成对bn单元922生成的数据进行线性整流。嵌入层920经由上述多个单元的处理输出扩散系数矩阵。嵌入层920的输出进一步连接到传输信息矩阵生成模块930，传输信息矩阵生成模块930的另一输入可以是通过上述方法(具体参见上面内容，在此不再详述)得到的图像的特征梯度图。传输信息矩阵生成模块930对输入进行处理，得到有效传输信息。更新单元940对有效传输信息进一步处理后最终获得插值图像。

根据一些实施例，上述确定嵌入神经网络的训练方法可以包括：获取样本图像以及所述样本图像的真实插值图像；将所述样本图像输入所述嵌入神经网络；确定所述样本图像的有效样本特征梯度图；基于所述有效样本特征梯度图和所述嵌入层输出的预测扩散系数矩阵，确定预测插值图像；基于所述真实插值图像和预测插值图像，计算损失值；以及基于所述损失值调整所述嵌入神经网络的参数。

示例性的，结合图5和图9所示，上述确定嵌入神经网络的训练方法一般性地包括以下步骤：

S501，获取样本图像以及样本图像的真实插值图像，以用于后续对嵌入神经网络900进行训练。

S502，将样本图像输入嵌入神经网络900。

S503，确定样本图像的多个预设样本点每一预设样本点相应的有效样本传输信息。

S504，针对样本图像的多个预设样本点，确定每一预设样本点的多个样本邻域，每一样本邻域包括一个或多个样本邻域点。

S505，基于多个预设样本点中每一预设样本点的特征值以及相应的多个样本邻域的特征值，获取样本图像的有效样本特征梯度图。

S506，基于有效样本特征梯度图和嵌入层920输出的预测扩散系数矩阵，确定多个预设样本点中每一预设样本点相应的有效样本传输信息。

S507，基于相应的有效样本传输信息，更新样本图像中多个预设样本点的特征值，得到预测插值图像。

S508，基于真实插值图像和预测插值图像，计算损失值。将步骤S1067得到的预测插值图像和步骤S501获取的真实插值图像进行比对，并计算得到损失值。

S509，基于损失值调整嵌入神经网络900的参数。

可以预先获取多个样本图像以及多个样本图像各自的真实插值图像，并多次重复上述步骤S502-509，实现对嵌入神经网络900的多次迭代训练。训练次数可以根据预期达到的损失值大小进行确定，例如可以对嵌入神经网络900进行多次的训练，直到上述损失值小于某一阈值时结束训练，从而得到训练好的嵌入神经网络900。

步骤S503-507可以按照上述方法对样本图像进行插值处理，最终得到预测插值图像。其具体原理和实施方式上述方法，这里不再重复描述。完成上述步骤之后将得到训练好的嵌入神经网络900，后续通过该训练好的嵌入神经网络900得到更加准确的扩散系数矩阵k。

可以将待处理图像输入训练好的嵌入神经网络900，就能够从上述嵌入神经网络的输出中得到可学习的扩散系数矩阵k。在本实施例中，首先对嵌入神经网络900进行样本训练，然后利用训练好的嵌入神经网络900中嵌入层920的来获得扩散系数矩阵k，相比于对k进行预先设定，通过本实施例方法获得的扩散系数矩阵k更加精确，从而使得后续的图像插值拟合度更高。

另外，本公开还公开了一种深度图插值方法，该方法一般性地包括以下步骤：获取待处理图像，上述待处理图像包括具有深度信息的多个有效深度点；以及采用图1至图5所示的图像插值方法对待处理图像进行插值处理，以对待处理图像进行深度插值。

示例性的，多个预设点可以包括多个有效深度点。

深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。在本实施例中，也可以将上文描述的多种插值的方法应用于深度图像的处理，在这种情况下，对应的待处理图像的像素值可以定义为从图像采集器到场景中各点的距离(深度)。最终得到的插值图像为深度插值图像。

另外，本公开还公开了一种语义分割方法，该方法一般性地包括以下步骤：对初始图像进行语义分割，得到待处理图像；采用图1至图5所示的图像插值方法对待处理图像进行插值处理。在本实施例中，还可以将上文描述的多种插值的方法应用于语义分割的处理中，在这种情况下，首先对初始图像进行语义分割，从而得到待处理图像，然后在进行插值处理。因此相当于对初始图像进行语义分割的预处理，这样可以进一步优化后续的插值处理操作，提高插值处理的拟合度。

根据本公开的另一方面，如图6所示，还提供一种图像插值装置600，可包括：梯度图生成单元602、扩散系数矩阵生成单元603、有效传输信息生成单元604和更新单元605。

梯度图生成单元602配置成确定待处理图像的有效特征梯度图。扩散系数矩阵生成单元603配置成确定待处理图像的扩散系数矩阵。有效传输信息生成单元604配置成基于有效特征梯度图和扩散系数矩阵，确定多待处理图像的有效传输信息。更新单元605，配置成基于有效传输信息，更新待处理图像，得到插值图像。

这里，图像插值装置600的上述各单元602～605的操作分别与前面描述的步骤S102～S106的操作类似，在此不再赘述。

根据一些实施例，梯度图生成单元可以包括：邻域确定单元，配置成针对待处理图像的多个预设点，确定每一预设点的多个邻域，其中，每一邻域包括一个或多个邻域点；以及生成子单元，配置成基于所述多个预设点中每一所述预设点的特征值以及相应的多个邻域的特征值，确定所述待处理图像的有效特征梯度图。

如图7所示，梯度图生成单元700还可进一步包括：特征邻域图生成模块701和差值图像计算模块702。特征邻域图生成模块701配置成建立多个特征邻域图，其中特征邻域图的数量与每一预设点相应的邻域数量相同，每一特征邻域图的与待处理图像中每一预设点对应的位置被赋值为该预设点相应的其中一个邻域的特征值。差值图像计算模块702与特征邻域图生成模块701相连，配置成计算多个特征邻域图分别与待处理图像的差值，得到多个差值图像。其中，梯度图生成单元700还配置成基于差值图像计算模块702得到的差值图像，确定多个特征邻域图分别相应的多个有效特征梯度图。

根据一些实施例，如图8所示，有效传输信息生成单元800还可进一步包括：传输信息矩阵生成模块801和融合模块802。传输信息矩阵生成模块801配置成针对每一特征邻域图，基于相应的有效特征梯度图和扩散系数矩阵，确定传输信息矩阵。融合模块802与传输信息矩阵生成模块801相连，配置成对多个特征邻域图分别相应的多个传输信息矩阵进行融合，得到有效传输信息矩阵。其中，有效传输信息矩阵包括多个预设点中每一预设点相应的有效传输信息。

根据一些实施例，梯度图生成单元700还可配置成对多个特征邻域图分别相应的多个差值图像进行归一化处理，以得到每一特征邻域图相应的有效特征梯度图。

根据一些实施例，更新单元605还可配置成通过对待处理图像和有效传输信息进行数据级融合，来更新待处理图像。

根据一些实施例，更新单元605还可包括：预处理模块。预处理模块可配置成在对待处理图像和有效传输信息进行数据级融合之前，采用不同的方式对不同预设点相应的有效传输信息进行预处理。

本公开还公开了一种深度图插值装置，可包括：深度图获取单元和上述图像插值装置。深度图获取单元配置成获取待处理图像，待处理图像包括具有深度信息的多个有效深度点。图像插值装置配置成对待处理图像进行插值处理，以对上述待处理图像进行深度插值，其中，多个预设点包括多个有效深度点。

本公开还公开了一种语义分割装置，可包括：语义分割单元和上述图像插值装置。语义分割单元可配置成对初始图像进行语义分割，得到待处理图像。图像插值装置可配置成对上述待处理图像进行插值处理。

根据本公开的另一方面，还提供一种电子设备，可以包括：处理器；以及存储程序的存储器，程序包括指令，指令在由处理器执行时使处理器执行根据上述的图像插值方法。

根据一些实施例，电子设备还可以包括输入设备，被配置为用于获取待识别信息。可以根据具体的应用场景选择相应的采集单元。例如：在对话系统中，输入设备例如可以为麦克风，待识别信息可以为通过麦克风获取的语音。在搜索引擎中，输入设备例如可以为触摸屏，待识别信息可以为通过触摸屏获取的用户输入的纯文本信息。在专家系统中，输入设备例如可以为摄像机，待识别信息可以为通过摄像机获取的图片信息。

根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

参考图10，现将描述可以作为本公开的服务器或客户端的电子设备1000的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006、输出单元1007、存储单元1008以及通信单元1009。输入单元1006可以是能向设备1000输入信息的任何类型的设备，输入单元1006可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元1007可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1008可以包括但不限于磁盘、光盘。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像插值的方法。例如，在一些实施例中，图像插值的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的图像插值的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像插值的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本公开的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (26)

1.一种图像插值方法，包括：

确定待处理图像的有效特征梯度图和扩散系数矩阵；

基于所述有效特征梯度图和所述扩散系数矩阵，确定所述待处理图像的有效传输信息；以及

基于所述有效传输信息，更新所述待处理图像，得到插值图像。

2.如权利要求1所述的方法，其中，确定待处理图像的有效特征梯度图包括：

针对待处理图像的多个预设点，确定每一所述预设点的多个邻域，每一所述邻域包括一个或多个邻域点；以及

基于所述多个预设点中每一所述预设点的特征值以及相应的多个邻域的特征值，确定所述待处理图像的有效特征梯度图。

3.如权利要求2所述的方法，其中，所述多个预设点的邻域数量相同，

其中，确定有效特征梯度图包括：

建立多个特征邻域图，所述特征邻域图的数量与每一所述预设点相应的邻域数量相同，每一所述特征邻域图的与所述待处理图像中每一预设点对应的位置被赋值为该预设点相应的其中一个邻域的特征值；

计算多个特征邻域图分别与所述待处理图像的差值，得到多个差值图像；

基于相应的所述差值图像，确定所述多个特征邻域图分别相应的多个有效特征梯度图。

4.如权利要求3所述的方法，其中，基于所述有效特征梯度图和所述扩散系数矩阵，确定所述多个预设点中每一预设点相应的有效传输信息包括：

针对每一所述特征邻域图，基于相应的有效特征梯度图和所述扩散系数矩阵，确定传输信息矩阵；以及

对多个特征邻域图分别相应的多个传输信息矩阵进行融合，得到有效传输信息矩阵，

其中，所述有效传输信息矩阵包括所述多个预设点中每一预设点相应的有效传输信息。

5.如权利要求3所述的方法，其中，基于相应的所述差值图像，确定所述多个特征邻域图分别相应的有效特征梯度图包括：

对多个特征邻域图分别相应的多个差值图像进行归一化处理，以得到每一特征邻域图相应的有效特征梯度图。

6.如权利要求1所述的方法，其中，通过对所述待处理图像和有效传输信息进行数据级融合，来更新所述待处理图像。

7.如权利要求6所述的方法，还包括：

在对所述待处理图像和有效传输信息进行数据级融合之前，采用不同的方式对不同预设点相应的有效传输信息进行预处理。

8.如权利要求1-7中任一项所述的方法，其中，确定所述待处理图像的扩散系数矩阵包括：

将所述待处理图像输入嵌入神经网络，获取所述嵌入神经网络输出的扩散系数矩阵。

9.如权利要求8所述的方法，其中，所述嵌入神经网络包括卷积神经网络和嵌入层，所述卷积神经网络包括多个级联的卷积层，多个所述卷积层包括靠近输入侧的浅层和靠近输出侧的高层，所述嵌入层的输入包括所述浅层输出的浅层特征图和所述高层输出的高层特征图，所述嵌入层的输出包括所述扩散系数矩阵。

10.如权利要求9所述的方法，其中，所述嵌入神经网络的训练过程包括：

获取样本图像以及所述样本图像的真实插值图像；

将所述样本图像输入所述嵌入神经网络；

确定所述样本图像的有效样本特征梯度图；

基于所述有效样本特征梯度图和所述嵌入层输出的预测扩散系数矩阵，确定预测插值图像；

基于所述真实插值图像和预测插值图像，计算损失值；以及

基于所述损失值调整所述嵌入神经网络的参数。

11.如权利要求2所述的方法，其中，所述多个预设点包括所述待处理图像的每一个像素，所述邻域点对应一个像素，

其中，所述特征值为像素的值。

12.如权利要求2所述的方法，其中，按照以下方式中的至少其中之一确定任一所述预设点的多个邻域：

4邻域、8邻域、半径为设定值的网格邻域、可变形邻域。

13.一种深度图插值方法，包括：

获取待处理图像，所述待处理图像包括具有深度信息的多个有效深度点；

采用权利要求1-12中任一项所述的图像插值方法对所述待处理图像进行插值处理，以对所述待处理图像进行深度插值，其中，多个预设点包括所述多个有效深度点。

14.一种语义分割方法，包括：

对初始图像进行语义分割，得到待处理图像；

采用权利要求1-12中任一项所述的图像插值方法对所述待处理图像进行插值处理。

15.一种图像插值装置，包括：

梯度图生成单元，配置成确定待处理图像的有效特征梯度图；

扩散系数矩阵生成单元，配置成确定所述待处理图像的扩散系数矩阵；

有效传输信息生成单元，分别与所述梯度图生成单元和所述扩散系数矩阵生成单元相连，配置成基于所述有效特征梯度图和所述扩散系数矩阵，确定所述待处理图像的有效传输信息；以及

更新单元，与所述有效传输信息生成单元相连，配置成基于相应的有效传输信息，更新所述待处理图像，得到插值图像。

16.如权利要求15所述的装置，其中，所述梯度图生成单元包括：

邻域确定单元，配置成针对待处理图像的多个预设点，确定每一所述预设点的多个邻域，其中，每一所述邻域包括一个或多个邻域点；以及

生成子单元，配置成基于所述多个预设点中每一所述预设点的特征值以及相应的多个邻域的特征值，确定所述待处理图像的有效特征梯度图。

17.如权利要求16所述的装置，其中，所述梯度图生成单元还包括：

特征邻域图生成模块，配置成建立多个特征邻域图，其中所述特征邻域图的数量与每一所述预设点相应的邻域数量相同，每一所述特征邻域图的与所述待处理图像中每一预设点对应的位置被赋值为该预设点相应的其中一个邻域的特征值；以及

差值图像计算模块，与所述特征邻域图生成模块相连，配置成计算多个特征邻域图分别与所述待处理图像的差值，得到多个差值图像；

其中，所述梯度图生成单元，还配置成基于所述差值图像计算模块得到的所述差值图像，确定所述多个特征邻域图分别相应的多个有效特征梯度图。

18.如权利要求16所述的装置，其中，所述有效传输信息生成单元还包括：

传输信息矩阵生成模块，配置成针对每一所述特征邻域图，基于相应的有效特征梯度图和所述扩散系数矩阵，确定传输信息矩阵；以及

融合模块，与所述传输信息矩阵生成模块相连，配置成对多个特征邻域图分别相应的多个传输信息矩阵进行融合，得到有效传输信息矩阵；

其中，所述有效传输信息矩阵包括所述多个预设点中每一预设点相应的有效传输信息。

19.如权利要求16所述的装置，其中，所述梯度图生成单元还配置成对多个特征邻域图分别相应的多个差值图像进行归一化处理，以得到每一特征邻域图相应的有效特征梯度图。

20.如权利要求15所述的装置，其中，所述更新单元还配置成通过对所述待处理图像和有效传输信息进行数据级融合，来更新所述待处理图像。

21.如权利要求15所述的装置，其中，所述更新单元还包括：

预处理模块，配置成在对所述待处理图像和有效传输信息进行数据级融合之前，采用不同的方式对不同预设点相应的有效传输信息进行预处理。

22.一种深度图插值装置，包括：

深度图获取单元，配置成获取待处理图像，所述待处理图像包括具有深度信息的多个有效深度点；和

权利要求15-21中任一项所述的图像插值装置，配置成对所述待处理图像进行插值处理，以对所述待处理图像进行深度插值，其中，所述多个预设点包括所述多个有效深度点。

23.一种语义分割装置，包括：

语义分割单元，配置成对初始图像进行语义分割，得到待处理图像；和

权利要求15-21中任一项所述的图像插值装置，配置成对所述待处理图像进行插值处理。

24.一种电子设备，包括：

存储器、处理器以及存储在所述存储器上的计算机程序，

其中，所述处理器被配置为执行所述计算机程序以实现权利要求1-14中任一项所述的方法的步骤。

25.一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-14中任一项所述的方法的步骤。

26.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-14中任一项所述的方法的步骤。

Images