CN106033594B

CN106033594B - 基于卷积神经网络所获得特征的空间信息恢复方法及装置

Info

Publication number: CN106033594B
Application number: CN201510106624.6A
Authority: CN
Inventors: 黄郁驰
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2015-03-11
Filing date: 2015-03-11
Publication date: 2018-11-13
Anticipated expiration: 2035-03-11
Also published as: CN106033594A

Abstract

本发明公开了一种基于卷积神经网络所获得特征的空间信息恢复方法和装置，用于恢复将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的特征在所述原始图像上的空间信息，其中N为整数并且N≥1。所述方法包括从K等于N开始，依次根据所述特征在第K层特征图上的分布重建出所述特征在第K‑1层特征图上的分布，其中K为整数并且0＜K≤N。本发明以按元素乘以设定权重的方式来实现去卷积重建而不涉及卷积运算，并且设定权重的设置充分考虑了各层卷积核在获得特征的过程中对原始图像上各元素的影响，能够大大降低去卷积重建计算的复杂度，同时又能保证较高的重建结果准确度。

Description

基于卷积神经网络所获得特征的空间信息恢复方法及装置

技术领域

本发明属于计算机视觉领域，涉及基于卷积神经网络的图像处理，尤其涉及一种基于卷积神经网络所获得特征的空间信息恢复方法。

背景技术

基于卷积神经网络的图像识别、物体检测已经成为目前计算机视觉领域内精度最高的技术。通常，使用卷积神经网络进行图像识别的大致流程包括：首先，用海量图像样本训练用于图像分类或识别的卷积神经网络，学习其参数；当卷积神经网络训练完毕之后，如图1所示，将一幅待识别图像输入该卷积神经网络，经过层层的“卷积”和“降采样(pooling)”得到一系列小的特征图，并通过将这些特征图一维化成为向量之后输入已有分类器(比如SVM，Support Vector Machine，支持向量机)来进行识别。

其中，层层“卷积”和“降采样”将使得最后输出的特征在原始图像上的空间信息丢失了。然而，从以往的经验来看，在进行图像分类、识别、检测等工作时，特征的空间信息是非常重要的。如果能恢复出基于卷积神经网络获得的特征在原始图像上的空间信息，相关领域的识别、检测精度会得到进一步的提升。因此，有必要恢复基于卷积神经网络获得的特征的空间信息。

并且，目前已提出通过迭代反复进行去降采样(unpooling)和去卷积重建，来确定原始图像中与基于卷积神经网络获得的某个特征相对应的感受野。其中，所谓去降采样，是前向卷积神经网络中降采样的逆过程，即把降采样之后得到的小图恢复成大图的过程；而所谓去卷积重建，是前向卷积神经网络中卷积的逆过程，即把通过卷积运算得到的特征图恢复成卷积前的样子的过程。

与去降采样相比，去卷积重建的运算复杂度明显更高，并且对重建结果的准确度影响更大。目前已提出使用稀疏优化的方法来进行去卷积重建的计算，具体可参见非专利文献1。然而，虽然稀疏优化算法的重建结果较为准确，但是计算的时间复杂度依然很高，对实时性要求较高的图像识别、物体检测的适用性不是很好。因此，目前还提出以卷积核的转置近似为该卷积核的逆进行去卷积重建的方法，具言之，将前向卷积过程中相应的卷积核取转置之后，与通过去降采样得到的特征图进行卷积，具体内容可参见非专利文献2。然而，使用转置卷积核的方法虽然能够降低计算复杂度，但是重建结果不够精确。

引证文件列表

非专利文献

1、Zeiler,M.,Taylor,G.,and Fergus,R.Adaptive deconvolutional networksfor mid and high level feature learning.In ICCV,2011.

2、Matthew D.Zeiler,Rob Fergus.Visualizing and UnderstandingConvolutional Networks.In ECCV,2014.

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是，如何快速、准确地恢复基于卷积神经网络获得的特征在原始图像上的空间信息。

解决方案

根据本发明的一个方面，提供了一种基于卷积神经网络所获得特征的空间信息恢复方法，用于恢复将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的特征在所述原始图像上的空间信息，其中N为整数并且N≥1，该方法包括：从K等于N开始，依次根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征在第0层特征图上的分布表示所述特征在所述原始图像上的空间信息；并且，根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布包括：对所述特征在第K层特征图上的分布进行去降采样，以得到所述特征在第K层特征图上的去降采样分布；获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成；将所有关注元素各自在第K-1层特征图上的子分布进行叠加以生成所述特征在第K-1层特征图上的分布。

对于上述空间信息恢复方法，在一种可能的实现方式中，在根据所述特征在第N层特征图上的分布重建出所述特征在第N-1层特征图上的分布之前，还包括：将所述特征的值初始化。

对于上述空间信息恢复方法，在一种可能的实现方式中，所述关注元素的值非空或非零。

根据本发明的另一个方面，提供了一种基于卷积神经网络所获得特征的空间信息恢复装置，用于恢复将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的特征在所述原始图像上的空间信息，其中N为整数并且N≥1，该空间信息恢复装置从K等于N开始，依次根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征在第0层特征图上的分布表示所述特征在所述原始图像上的空间信息；并且，所述空间信息恢复装置包括：去降采样模块，被配置对所述特征在第K层特征图上的分布进行去降采样，以得到所述特征在第K层特征图上的去降采样分布；重建模块，与所述去降采样模块连接，并且被配置为，获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成；以及加法模块，与所述重建模块以及所述去降采样模块连接，被配置为将通过所述重建模块获得的所有关注元素各自在第K-1层特征图上的子分布进行叠加，并将相加所得到的结果作为所述特征在第K-1层特征图上的分布输出至所述去降采样模块。

对于上述空间信息恢复装置，在一种可能的实现方式中，还包括初始化模块，与所述去降采样模块连接，被配置为将所述特征的值初始化作为所述特征在第N层特征图上的分布输出至所述去降采样模块。

对于上述空间信息恢复装置，在一种可能的实现方式中，所述关注元素的值非空或非零。

有益效果

通过主要考虑各层卷积核在获得特征的过程中对原始图像上各元素的影响，并在去卷积重建中与关注的特征相关地按元素累计不同卷积核的影响，来恢复关注的特征在原始图像上的空间信息，根据本发明实施例的基于卷积神经网络所获得特征的空间信息恢复方法能够大大降低去卷积重建计算的复杂度，同时又能保证较高的重建结果准确度。

根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出现有技术使用卷积神经网络进行图像识别的示意图；

图2示出根据本发明实施例的基于卷积神经网络所获得特征的空间信息恢复方法的流程图；

图3示出图2中步骤S250的具体实现的流程图；

图4示出根据本发明实施例的基于卷积神经网络所获得特征的空间信息恢复方法的二维应用例的示意图；

图5示出根据本发明实施例的基于卷积神经网络所获得特征的空间信息恢复方法的三维应用例的示意图；

图6示出根据本发明实施例的基于卷积神经网络所获得特征的空间信息恢复装置的结构框图。

具体实施方式

如背景技术部分所述，本发明希望解决的技术问题主要是如何快速、准确地恢复基于卷积神经网络获得的特征在原始图像上的空间信息。为了解决该技术问题，本发明人经反复研究发现，基于卷积神经网络获得的任一特征都是由原始图像上的像素层层叠加各层卷积核中的权重计算得到的，从而独创性地想到，可使用一种不涉及卷积运算的新方法来完成上述去卷积重建步骤。该方法的基本思想是，在去卷积重建的运算中，主要考虑从本层特征图通过卷积运算得到下一层特征图时所使用的卷积核对关注特征的影响，并通过与关注特征相关地按元素将不同卷积核的影响相加。使用这样的去卷积重建步骤与传统的去降采样迭代进行，最后能够在原始图像上完全重建出关注特征的空间信息。

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

本发明的基于卷积神经网络所获得特征的空间信息恢复方法用于恢复将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的特征在所述原始图像上的空间信息，其中N为整数并且N≥1。该恢复方法主要包括：从K等于N开始，依次根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，第0层特征图即为原始图像，所述特征在第0层特征图上的分布表示所述特征在所述原始图像上的空间信息。

并且，根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布包括：对所述特征在第K层特征图上的分布进行去降采样，以得到所述特征在第K层特征图上的去降采样分布；获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成；将所有关注元素各自在第K-1层特征图上的子分布进行叠加以生成所述特征在第K-1层特征图上的分布。

通过上述方法，最后能够在原始图像上完全重建出关注特征的空间信息。在上述方法中，以按元素乘以设定权重的方式(将在下文详细说明)来实现去卷积重建而不涉及卷积运算，并且设定权重的设置充分考虑了各层卷积核在获得特征的过程中对原始图像上各元素的影响。因此，根据本发明实施例的基于卷积神经网络所获得特征的空间信息恢复方法能够大大降低去卷积重建计算的复杂度，同时又能保证较高的重建结果准确度。

在一种可能的实现方式中，可以参考图2示出的流程图来说明根据本发明实施例的基于卷积神经网络所获得特征的空间信息恢复方法。如图2所示，该空间信息恢复方法主要包括：

步骤S210、确定要恢复空间信息的特征，并作为关注特征；

步骤S230、设定K＝N；

步骤S240、对关注特征在第K层特征图上的分布进行去降采样，以得到该特征在第K层特征图上的去降采样分布；

步骤S250、针对该特征在第K层特征图上的去降采样分布进行不涉及卷积运算的去卷积重建，以得到该特征在第K-1层特征图上的分布；

步骤S260、判断K的值是否大于1；并且，在K大于1的情况下，执行步骤S270、将K-1的值赋予K，然后返回执行步骤S240；在K不大于1的情况下，执行步骤S280、将关注特征在第0层特征图上的分布确定为该特征在原始图像上的空间信息，也即关注特征的空间信息恢复完成。

在一种可能的实现方式中，在步骤S210和步骤S230之间还可以包括步骤S220、将所述关注特征的值初始化，一般情况下将关注特征的值初始化为1，但在关注特征的真实值较小例如为0.0004的情况下，为了保证计算的准确度，也可以将关注特征初始化为其它值例如10000，待将关注特征恢复至原始图像后，将该关注特征对应于原始图像的相关区域中的各元素均除以该初始化的值。另外，如果在运算过程中造成关注元素的数值变小而使得准确度下降，也可以将关注特征初始化为例如10000等较大的值。

然而，执行步骤S220以对关注特征进行初始化不是必须的，可以以关注特征的真实值进行处理，如果需要针对各个关注特征所恢复出的分布进行数值比对或针对这些具体数值进行其它后续处理，则可以在各关注特征恢复至原始图像后，分别对各关注特征对应于原始图像的相关区域中的各元素均除以对应的关注特征的真实值。另外，如果只是为了显示关注特征在原始图像上的对应区域中各元素的相对强弱，也就是仅恢复出关注特征在原始图像上的分布，而不关注各个关注特征所恢复出的分布的具体数值，则也可以不执行步骤S220，而以关注特征的真实值执行后续的步骤。

上述步骤S240为去降采样的过程，在一种可能的实现方式中，可以采用传统的去降采样算法，通过将原始图像输入具有N层卷积和降采样的卷积神经网络获得特征的过程中进行降采样时所保存的采样位置等信息来实现，其中降采样可以包括最大值采样(max-pooling)等。

上述步骤S250为去卷积重建步骤，对于该步骤的具体实现将在下文结合图3来说明。该去卷积重建步骤S250主要考虑各层卷积核在获得特征的过程中对原始图像上各元素的影响，并在去卷积重建中与关注的特征相关地按元素累计不同卷积核的影响，而不涉及真正的卷积运算，根据本实施例的空间信息恢复方法能够大大降低去卷积重建计算的复杂度，同时又能保证较高的重建结果准确度。

对于上述步骤S260～S280，需要解释的是，如果K大于1，则根据所述关注特征在第K-1层特征图上的分布重建出该特征在第K-2层特征图上的分布，依次反复进行，直到根据该关注特征在第1层特征图上的分布重建出该关注特征在第0层特征图上的分布，则该关注特征在原始图像上的空间信息的恢复完成。

在一种可能的实现方式中，如图3所示，图2中步骤S250的具体实现可以包括以下步骤：

步骤S310、确定关注特征在第K层特征图上的去降采样分布所包括的关注元素个数M，并获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；

步骤S320、设定m＝1；

步骤S330、在第K-1层特征图上确定与第m关注元素对应的区域；

步骤S340、将第K-1层特征图中上述区域内的元素置为与该第m关注元素的值相对应的值、而将除该区域之外的其它区域中的元素置为非关注元素的值，以在根据关注特征在第K-1层特征图重建该关注特征在第K-2层特征图时忽略在第K-1层特征图中的其它区域中的元素；其中，关注元素表示在去卷积重建过程中有意义的元素，在以数值编码的方式对特征图中的元素进行编码的情况下，该关注元素可以为非零元素，而将非关注元素赋值为零，在其它以非数值编码的方式对特征图中的元素编码时，则可以将非空的元素作为关注元素，而将非关注元素赋值为空，例如可以将字母A等设置为空元素来作为非关注元素的值。对于如何设置非关注元素的值，可以根据实际情况灵活掌握，只要能够将非关注元素与非空或非零的关注元素区分即可；

步骤S350、将如上设置的第K-1层特征图中的所述关注元素对应的区域按元素乘以(element-wise multiplication)设定权重，以得到所述第m关注元素在第K-1层特征图上的子分布；其中，该设定权重可以根据预存储的从第K-1层特征图通过卷积运算得到第K特征图时所采用的卷积核生成；

步骤S360、判断m是否小于M；并且，在m小于M的情况下，表示关注特征在第K层特征图上的去降采样分布所包括的关注元素尚有部分未处理，则执行步骤S370、将m+1的值赋予m，然后返回执行步骤S330；在m不小于M的情况下，表示所有关注元素均已处理，则执行步骤S380、将所述M个关注元素各自在第K-1层特征图上的子分布进行叠加，并将叠加所得到的结果作为所述关注特征在第K-1层特征图上的分布。

其中，步骤S330至步骤S350为去卷积重建过程的关键步骤，在一种可能的具体实现方式中，假设第K-1层特征图F_K-1[f_K-1(i，j)](0≤i，j≤4)通过与3×3的卷积核C[c(i，j)](0≤i，j≤2)进行卷积运算得到第K层特征图F_K[f_K(i，j)](0≤i，j≤2)。

则步骤S330可以通过以下步骤实现：假设第m关注元素为第K层特征图上的元素f_K(2，1)，则根据卷积运算规则，f_K(2，1)＝f_K-1(2，1)×c(0，0)+f_K-1(2，2)×c(0，1)+f_K-1(2，3)×c(0，2)+f_K-1(3，1)×c(1，0)+f_K-1(3，2)×c(1，1)+f_K-1(3，3)×c(1，2)+f_K-1(4，1)×c(2，0)+f_K-1(4，2)×c(2，1)+f_K-1(4，3)×c(2，2)。由此可以确定在第K-1层特征图上与该第m关注元素f_K(2，1)对应的区域为由f_K-1(2，1)、f_K-1(2，2)、f_K-1(2，3)、f_K-1(3，1)、f_K-1(3，2)、f_K-1(3，3)、f_K-1(4，1)、f_K-1(4，2)和f_K-1(4，3)所组成的3×3的区域。

步骤S340可以通过以下步骤实现：将在步骤S330中确定的3×3的区域中的所有元素(即f_K-1(2，1)、f_K-1(2，2)、f_K-1(2，3)、f_K-1(3，1)、f_K-1(3，2)、f_K-1(3，3)、f_K-1(4，1)、f_K-1(4，2)和f_K-1(4，3))置为该第m关注元素f_K(2，1)的值，而将第K-1层特征图中的除此之外的其它元素置为非关注元素的值。在重新赋值后的第K-1层特征图F_K-1[f_K-1’(i，j)](0≤i，j≤4)的3×3的区域中，f_K-1’(2，1)、f_K-1’(2，2)、f_K-1’(2，3)、f_K-1’(3，1)、f_K-1’(3，2)、f_K-1’(3，3)、f_K-1’(4，1)、f_K-1’(4，2)和f_K-1’(4，3)均等于f_K(2，1)的值。

步骤S350可以通过以下步骤实现：在步骤S340中重新赋值后的上述3×3的区域中，按元素乘以设定权重，这里假设设定权重为从第K-1层特征图通过卷积运算得到第K层特征图中所使用的卷积核C[c(i，j)](0≤i，j≤2)，则所述第m关注元素在第K-1层特征图上的子分布为：在上述3×3的区域中的元素分别为f_K-1’(2，1)×c(0，0)、f_K-1’(2，2)×c(0，1)、f_K-1’(2，3)×c(0，2)、f_K-1’(3，1)×c(1，0)、f_K-1’(3，2)×c(1，1)、f_K-1’(3，3)×c(1，2)、f_K-1’(4，1)×c(2，0)、f_K-1’(4，2)×c(2，1)、f_K-1’(4，3)×c(2，2)，而其它区域中的元素仍然为非关注元素的值。

通过对上述步骤S350的说明，本领域技术人员应当理解按元素相乘的具体含义，即将两个矩阵的对应的元素分别相乘。具体地，假设矩阵A[a(i，j)]按元素乘以矩阵B[b(i，j)]得到矩阵D[d(i，j)]，其中矩阵A和B的大小相同，则矩阵D的大小也与A和B相同，并且d(i，j)＝a(i，j)×b(i，j)。

需要说明的是，在步骤S350中，可以根据从第K-1层特征图通过卷积运算得到第K层特征图中所使用的卷积核，来设置在根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布中所使用的所述设定权重。例如如上所述，直接将上述卷积核中的各权重对应于上述区域的各元素设置为设定权重。另外，也可以将与上述卷积核中的各权重对应于上述区域的各元素呈一定比例关系的值设置为设定权重。具体如何设定，用户完全可根据实际应用场景灵活掌握，只要能够体现卷积核对相关特征的影响即可。

这里以5×5的第K-1层特征图通过与3×3的卷积核进行卷积运算得到3×3的第K层特征图的大小为例，对本发明实施例的去卷积重建步骤进行了说明。然而，在将原始图像输入具有N层卷积和降采样的卷积神经网络获得特征的过程中进行卷积时，可能存在如下情况：先通过周围补零的方式将第K-1层特征图扩大为7×7，再进行卷积运算以得到5×5的第K层特征图。本领域技术人员应能理解，在这种情况下，进行去卷积重建的步骤与上述以5×5的第K-1层特征图通过与3×3的卷积核进行卷积运算得到3×3的第K层特征图的大小为例具体说明的步骤S330至步骤S350类似，这里不再做详细说明。

另外，对于其它尺寸的特征图或者使用其它尺寸的卷积核的去卷积重建步骤也可以参考上述说明，这里也不再做重复说明。

这样，通过主要考虑各层卷积核在获得特征的过程中对原始图像上各元素的影响，并在去卷积重建中与关注的特征相关地按元素累计不同卷积核的影响，来恢复关注的特征在原始图像上的空间信息，根据本发明实施例的基于卷积神经网络所获得特征的空间信息恢复方法能够大大降低去卷积重建计算的复杂度，同时又能保证较高的重建结果准确度。

如图4所示的为本发明实施例的基于卷积神经网络所获得特征的空间信息恢复方法在二维图像中的一个应用例。在本应用例中，已通过上述步骤S210～步骤S260得到关注特征在第K层特征图上的分布，这里对从关注特征在第K层特征图上的分布得到关注特征在第K-1层特征图上的分布进行详细说明。

首先通过步骤S240、对关注特征在第K层特征图上的分布进行去降采样，得到该特征在第K层特征图上的去降采样分布。如图4所示，最右侧的特征图为已经进行了去降采样之后的第K层特征图，也即该图表示关注特征在第K层特征图上的去降采样分布，其中，两个圆点代表所述去降采样分布所包括的两个关注元素。实际上，关注元素可能不止两个，这里仅以将去降采样分布包括的两个关注元素恢复到第K-1层特征图为例。

然后进行步骤S310、确定关注特征在第K层特征图上的去降采样分布所包括的关注元素个数M(在本应用例中，M＝2)，并获取所述去降采样分布中的每一关注元素及所述每一关注元素的值。接着，针对关注特征在第K层特征图上的去降采样分布所包括的一个关注元素，在第K-1层特征图上确定与该关注元素对应的区域、例如图中虚线框所示的区域。其中，该确定步骤可以参考上述对步骤S330的说明来实现。即如果假设从第K-1层特征图通过卷积运算得到第K层特征图中所使用的卷积核的大小为3×3，则在第K-1层特征图上与该关注元素对应的区域大小也为3×3，并且该区域中的各元素与该3×3的卷积核中对应元素相乘之后再相加得到的值即为第K层的关注元素的值。

然后，将该区域外的所有元素的值置为非关注元素的值，将该区域内的所有元素置为上述关注元素的值(具体可参考上述对步骤S340的说明)，在该区域中用设定的矩阵进行对应元素相乘，并用相乘的结果替换该区域中对应元素的值(即上文解释的按元素相乘)。其中，该设定的矩阵即为上述步骤S350所说的设定权重，可以为从第K-1层特征图通过卷积运算得到第K层特征图中所使用的卷积核，也可以为根据上述卷积核自定义的函数，只要能够体现卷积核中的各元素对相关特征的影响权重就可以。

对于关注特征在第K层特征图上的去降采样分布所包括的另外一个关注元素同样进行上述操作，然后将这两个关注元素在第K-1层特征图上的子分布叠加，并将叠加所得到的结果作为所述关注特征在第K-1层特征图上的分布。

接下来，对于所述关注特征在第K-1层特征图上的分布，先通过步骤S240进行去降采样得到所述关注特征在第K-1层特征图上的去降采样分布，然后参照上述步骤S310至步骤S380得到所述关注特征在第K-2层特征图上的分布。如此依次反复进行，直到获得所述关注特征在第0层特征图、即原始图像上的分布、即空间信息为止。

如上文已说明的那样，在本应用例中，将第K层特征图中的关注元素进行去降采样得到第K层特征图上的去降采样分布的方法，可以采用传统的去降采样算法，通过将原始图像输入具有N层卷积和降采样的卷积神经网络获得特征的过程中进行降采样时所保存的采样位置等信息来实现。

在一种可能的实现方式中，为了针对各个关注特征所恢复出的分布进行数值比对或针对这些具体数值进行其它后续处理的方便，还可以在根据关注特征在第N层特征图上的分布重建出该关注特征在第N-1层特征图上的分布之前，将该关注特征的值初始化、例如设为1。

需要说明的是，将关注特征的值初始化为1不是必须的，在关注特征的真实值较小或者在运算过程中造成关注元素的数值变小的情况下，为了保证计算的准确度，也可以将关注特征初始化为其它值，待将关注特征恢复至原始图像后，将该关注特征对应于原始图像的相关区域中的各元素均除以该初始化的值。

这样，通过主要考虑各层卷积核在获得特征的过程中对原始图像上各元素的影响，并在去卷积重建中与关注的特征相关地按元素累计不同卷积核的影响，来恢复关注的特征在原始图像上的空间信息，根据本发明上述二维图像的应用例的空间信息恢复方法不涉及卷积运算，因此能够保证较高的重建结果准确度，并且相比稀疏优化算法而言，又能够大大降低去卷积重建计算的复杂度。

如图5所示的为根据本发明一实施例的基于卷积神经网络所获得特征的空间信息恢复方法在三维图像中的一个应用例。与二维图像的应用例不同的是，在三维图像的应用例中，特征图和卷积核都是三维的，因此，关注特征对应到上一层特征图中的区域为三维立方体。

具体地，与二维图像的应用例类似地，在本三维图像的应用例中，已通过上述步骤S210～步骤S260得到关注特征在第K层特征图上的分布，也就是“去降采样”和“去卷积重建”过程已经进行到了第K层。这里对从关注特征在第K层特征图上的分布得到关注特征在第K-1层特征图上的分布进行详细说明。

与二维应用例的具体重建步骤类似地，首先，通过步骤S240、对关注特征在第K层特征图上的分布进行去降采样，得到该特征在第K层特征图上的去降采样分布。如图5所示，最右侧表示已经进行了去降采样之后的第K层特征图。实际上，可以将三维的第K层特征图看成是多组二维特征图，这里仅示出两组二维特征图，其余用省略号表示。仅以将三维的第K层特征图中的两组二维特征图恢复到第K-1层特征图为例。

然后，针对三维的第K层特征图中的一组二维特征图中所包括的所有关注元素，在第K-1层的特征图上确定与这所有的关注元素对应的区域(对应于上述步骤S330)，这里以3个关注元素(在图5中以圆点A、B、C表示)为例，则在第K-1层的特征图上与这3个关注元素对应的区域例如可以是以图5中虚线框示出的3个三维立方体。即如图5所示，关注元素A对应三维立方体A，关注元素B对应三维立方体B，关注元素C对应三维立方体C。其中，如果假设从第K-1层特征图通过卷积运算得到第K层特征图中所使用的卷积核的大小为3×3×9，则在第K-1层特征图上与这3个关注元素对应的区域大小都为3×3×9，并且三维立方体A、B、C中的各元素分别与该3×3×9的卷积核中对应元素相乘之后再相加得到的值分别为关注元素A、B、C。

然后，以关注元素A为例，将三维立方体A之外的元素置为非关注元素的值，将三维立方体A内的元素置为关注元素A的值(对应于上述步骤S340)，并且在三维立方体A内按元素乘以不同的三维权重矩阵(对应于上述步骤S350)。其中，三维情况的按元素相乘的计算与二维情况的类似，也是将两个矩阵的对应的元素分别相乘。具体地，假设三维矩阵A[a(i，j，k)]按元素乘以三维矩阵B[b(i，j，k)]得到三维矩阵D[d(i，j，k)]，其中三维矩阵A和B的大小相同，则三维矩阵D的大小也与A和B相同，并且d(i，j，k)＝a(i，j，k)×b(i，j，k)。

另外，该三维权重矩阵可以为从第K-1层特征图通过卷积运算得到第K层特征图中所使用的卷积核，也可以为根据上述卷积核自定义的函数。事实上，用户完全可根据实际应用场景灵活设置，只要能够体现卷积核中的各元素对相关特征的影响权重就可以。对关注元素B和C进行与关注元素A相同的处理，实际上，这三个关注元素的上述处理可同时进行。

对于三维的第K层特征图中的另外一组二维特征图中所包括的所有关注元素，同样进行上述处理步骤，然后将这两组二维特征图在第K-1层特征图上的子分布相加，即得到关注特征在第K-1层特征图上的分布。

接下来，参考上述步骤S310至步骤S380根据关注特征在该第K-1层特征图上的分布，重建出该关注特征在第K-2层特征图上的分布。如此依次反复进行，直到获得该关注特征在第0层特征图、即原始图像上的分布为止。

在一种可能的实现方式中，与二维图像的应用例类似地，为了针对各个关注特征所恢复出的分布进行数值比对或针对这些具体数值进行其它后续处理的方便，还可以在根据特征在第N层特征图上的分布重建出该特征在第N-1层特征图上的分布之前，将该特征的值初始化、例如设为1。另外，与二维图像的应用例类似地，可以采用传统的去降采样算法，将第K层特征图中的关注元素进行去降采样得到第K层特征图上的去降采样分布。

这样，通过主要考虑各层卷积核在获得特征的过程中对原始图像上各元素的影响，并在去卷积重建中与关注的特征相关地按元素累计不同卷积核的影响，来恢复关注的特征在原始图像上的空间信息，根据本发明上述三维图像的应用例的空间信息恢复方法不涉及卷积运算，因此能够保证较高的重建结果准确度，并且相比稀疏优化算法而言，由能够大大降低去卷积重建计算的复杂度。

本发明的基于卷积神经网络所获得特征的空间信息恢复装置用于恢复将原始图像输入具有N层卷积核降采样卷积神经网络所获得的特征在所述原始图像上的空间信息，其中N为整数并且N≥1。该空间信息恢复装置从K等于N开始，依次根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征在第0层特征图上的分布表示所述特征在所述原始图像上的空间信息。

具体地，图6示出了根据本发明一实施例的基于卷积神经网络所获得特征的空间信息恢复装置的结构框图，图中的箭头方向示出了该空间信息恢复装置各部件之间的信号或数据流向。并且，如图6所示，所述空间信息恢复装置包括：

去降采样模块610，其被配置为对所述特征在第K层特征图上的分布进行去降采样，以得到所述特征在第K层特征图上的去降采样分布；

重建模块620，与去降采样模块610连接，并且被配置为，获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成；以及

加法模块630，与重建模块620以及去降采样模块610连接，被配置为将通过所述重建模块获得的所有关注元素各自在第K-1层特征图上的子分布进行叠加，并将相加所得到的结果作为所述特征在第K-1层特征图上的分布输出至去降采样模块610。

其中，在一种可能的实现方式中，所述关注元素的值非空或非零。去降采样模块610的具体实现机理可以参照实施例1中步骤S240以及对该步骤进行的去降采样过程的说明；重建模块620以及加法模块630的实现机理可以参照实施例1中所述的步骤S250、步骤S310～步骤S380以及在二维应用例和三维应用例中对去卷积重建过程的示例。

在一种可能的实现方式中，该空间信息恢复装置还包括初始化模块640，与去降采样模块610连接，被配置为将所述特征的值初始化作为所述特征在第N层特征图上的分布输出至去降采样模块610。初始化模块640的具体实现机理可以参照上述方法实施例中对关注特征的初始化的说明。

这样，通过主要考虑各层卷积核在获得特征的过程中对原始图像上各元素的影响，并在去卷积重建中与关注的特征相关地按元素累计不同卷积核的影响，来恢复关注的特征在原始图像上的空间信息，根据本发明实施例的空间信息恢复装置能够大大降低去卷积重建计算的复杂度，同时又能保证较高的重建结果准确度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种基于卷积神经网络所获得特征的空间信息恢复方法，用于恢复将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的特征在所述原始图像上的空间信息，其中N为整数并且N≥1，其特征在于，包括：

从K等于N开始，依次根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征在第0层特征图上的分布表示所述特征在所述原始图像上的空间信息；

并且，根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布包括：

对所述特征在第K层特征图上的分布进行去降采样，以得到所述特征在第K层特征图上的去降采样分布；

获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；

分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成，在所述就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重时，将该区域的各个元素与所述设定权重的相对应的元素分别相乘；

将所有关注元素各自在第K-1层特征图上的子分布进行叠加以生成所述特征在第K-1层特征图上的分布。

2.根据权利要求1所述的空间信息恢复方法，其特征在于，在根据所述特征在第N层特征图上的分布重建出所述特征在第N-1层特征图上的分布之前，还包括：将所述特征的值初始化。

3.根据权利要求1或2所述的空间信息恢复方法，其特征在于，所述关注元素的值非空或非零。

4.一种基于卷积神经网络所获得特征的空间信息恢复装置，用于恢复将原始图像输入具有N层卷积和降采样的卷积神经网络所获得的特征在所述原始图像上的空间信息，其中N为整数并且N≥1，其特征在于，

该空间信息恢复装置从K等于N开始，依次根据所述特征在第K层特征图上的分布重建出所述特征在第K-1层特征图上的分布，其中K为整数并且0＜K≤N，所述特征在第0层特征图上的分布表示所述特征在所述原始图像上的空间信息；

并且，所述空间信息恢复装置包括：

去降采样模块，被配置对所述特征在第K层特征图上的分布进行去降采样，以得到所述特征在第K层特征图上的去降采样分布；

重建模块，与所述去降采样模块连接，并且被配置为，获取所述去降采样分布中的每一关注元素及所述每一关注元素的值；分别针对每一关注元素执行以下操作：确定关注元素对应的第K-1层特征图中的区域；将所述第K-1层特征图中的该区域内的元素置为与所述关注元素的值相对应的值，并将除该区域之外的其它区域中的元素置为非关注元素的值；就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重以得到所述关注元素在第K-1层特征图上的子分布；其中所述设定权重根据预存储的从第K-1层特征图通过卷积运算得到第K层特征图时所采用的卷积核生成，在所述就赋值后的所述第K-1层特征图中的所述关注元素对应的区域按元素乘以设定权重时，将该区域的各个元素与所述设定权重的相对应的元素分别相乘；以及

加法模块，与所述重建模块以及所述去降采样模块连接，被配置为将通过所述重建模块获得的所有关注元素各自在第K-1层特征图上的子分布进行叠加，并将相加所得到的结果作为所述特征在第K-1层特征图上的分布输出至所述去降采样模块。

5.根据权利要求4所述的空间信息恢复装置，其特征在于，还包括初始化模块，与所述去降采样模块连接，被配置为将所述特征的值初始化作为所述特征在第N层特征图上的分布输出至所述去降采样模块。

6.根据权利要求4或5所述的空间信息恢复装置，其特征在于，所述关注元素的值非空或非零。