CN113646775A - 用于创建神经网络的方法、装置和计算机程序 - Google Patents

Abstract

本发明涉及一种用于创建神经网络（40）的方法（20），该神经网络包括与解码器连接的编码器。使用优化方法DARTS，其中将另一单元类型添加到DARTS的已知的单元类型。本发明还涉及一种用于实施该方法（30）的计算机程序和装置以及一种在其上存储有该计算机程序的机器可读存储元件。

Description

用于创建神经网络的方法、装置和计算机程序

技术领域

本发明涉及一种用于优化神经网络的架构和参数化的方法。本发明同样涉及分别被设立为实施该方法的一种装置和一种计算机程序。

背景技术

Liu, Hanxiao、Karen Simonyan和Yiming Yang：“DARTS: Differentiablearchitecture search.”arXiv preprint arXiv:1806.09055（2018年）公开了一种用于借助于梯度下降法来优化神经网络的架构的方法。

Falkner、Stefan、Aaron Klein和Frank Hutter：“BOHB: Robust and efficienthyperparameter optimization at scale.”arXiv preprint arXiv:1807.01774（2018年）公开了一种用于借助于贝叶斯优化与超带优化算法的组合来优化神经网络的超参数的方法。

Olaf Ronneberger、Philipp Fischer和Thomas Brox：“U-Net: ConvolutionalNetworks for Biomedical Image Segmentation.”arXiv preprint arXiv: 1505.04597（2018年）公开了具有卷积层和跨接连接（英文skip connection）的神经网络的架构，该神经网络称为U-Net。

本发明的优点

目前，优化包括编码器和解码器的神经网络的架构极其复杂甚至不可能。因为已知的方法并不能够在合理时间内仅使用一个图形卡（GPU）来执行该复杂优化。因而，该神经网络的架构要么由专家设计要么只有小型神经网络自动化地被优化。然而，值得期望的是：也优化具有编码器和解码器的复杂神经网络的架构，使得这些复杂神经网络也可以执行要求更高的任务，诸如根据两个立体图像对对象的深度确定或者对图像的语义分割。同样无法优化上述U-Net的架构。

与此相对应地，具有独立权利要求1的特征的方法具有如下优点：该方法首次能够实现：计算机资源高效地优化具有编码器和解码器以及可能具有跨接连接的复杂神经网络的架构。

发明内容

在本发明的第一方面中，提出了一种按照独立权利要求1所述的用于创建神经网络的方法、尤其是计算机实现的方法，该神经网络包括与解码器连接的编码器。

该方法主要包括如下步骤：分别提供编码器和解码器的输入参量和输出参量的分辨率。然后，提供不同的单元（Zell）类型。每个单元类型都包括多个节点，这些节点按可预先给定的顺序开始于至少一个输入节点并且结束于输出节点地连接。每个节点都借助于有向边与它之前的所有节点连接。有向边可以被理解为：这些边只在一个方向上处理信息。每条边都分配有多个可参数化的运算并且所有运算分别分配有第一参量。这些边被设立为：分别借助于被分配给先前节点的中间参量的运算中的每个运算来处理该中间参量并且根据被分配给相应的运算的第一参量来对该中间参量进行加权相加并且将该中间参量提供给下一个连接的节点作为该节点的中间参量。第一单元类型（英文reduction cell（归约单元））被设立为使其输出参量的分辨率相对于其输入参量的分辨率降低。第二单元类型（英文upsampling cell（上采样单元））被设立为使其输出参量的分辨率相对于其输入参量的分辨率提高。然后，将不同的单元类型的多个单元串在一起，使得所提供的分辨率被实现。然后，提供训练数据，这些训练数据包括训练输入参量和分别被分配给这些训练输入参量的训练输出参量。然后，使第一参量和对可参数化的运算的参数化交替适配。该适配进行为使得借助于训练输入参量沿着串在一起的单元的传播所确定的输出参量与训练输出参量之差被优化，尤其是直至满足可预先给定的标准为止。然后，根据经适配的第一参量，分别选择这些边的运算之一。然后，根据串在一起的单元和所选择的运算来创建神经网络。

编码器可以被理解成神经网络的可预先给定的第一层序列，其中该序列被设立为根据编码器的输入参量来确定编码器的输出参量，其中输出参量的分辨率低于输入参量的分辨率。

解码器可以被理解成神经网络的第二层序列，该第二层序列与第一层序列连接。第二层序列被设立为：根据解码器的输入参量、即编码器的输出参量来确定解码器的输出参量，其中解码器的输出参量的分辨率高于解码器的输入参量的分辨率。

分辨率可以被理解成相应的输入参量或中间参量的空间分辨率。优选地，该分辨率表征包容输入或中间参量的数据点的数目。如果输入参量是至少一张图像，则该分辨率可以通过像素的数目来给出。

交替适配可以被理解成：相继对参数化和第一参量进行优化，尤其是用一次或多次迭代来相继对参数化和第一参量进行优化。

差可以被理解成数学距离量度，该数学距离量度表征所确定的输出参量与训练输出参量之间的区别，尤其是根据参数化和第一参量来表征所确定的输出参量与训练输出参量之间的区别。优选地，借助于成本函数（英文loss function）来确定该差。

传播可以被理解成：输入参量依次被这些单元处理。

可设想的是：除了该分辨率之外，提供其它信息，诸如神经网络的层的可预先给定的布置或者神经网络的构造。

单元可以被理解成没有带可预先给定的数目的节点的循环的有向图。

也可设想的是每个单元类型的超过一个输入节点。在这种情况下的优点在于：借此，具有多个跨接连接的神经网络也可以被优化。

第一方面的方法的优点在于：通过第二单元类型能够实现：以可缩放的方式优化具有编码器和解码器的神经网络。

提出：神经网络附加地根据对所选择的运算的经适配的参数化来被创建。

节点的中间参量可以是所有被提供给相应节点的中间参量、尤其是与该节点连接的边的总和。输出节点的输出参量可包含与该输出节点连接的节点的每个被提供的中间参量。优选地，与输出节点连接的节点的所有中间参量被组合成输出节点的输出参量。

还提出：第二单元类型还被设立为：尤其是借助于可参数化的运算、诸如转置卷积（英文transposed convolution），对输入节点的输入参量进行插值。在下文，插值可以被理解成：分辨率、尤其是空间分辨率增加，例如增加到2倍。

可以实现对第二单元类型的分辨率的降低，其方式是优选地借助于丢弃运算（英文（max-/average-）pooling（最大/平均）池化），从中间参量中除去信息。

还提出：神经网络具有至少一个跨接连接（英文skip connection），该跨接连接将编码器的中间参量转发给解码器。第二单元类型附加地具有第三输入节点，并且第二单元类型还被设立为：尤其是借助于可参数化的运算、诸如双线性插值（英文bilinearInterpolation）来对第三输入节点的输入参量进行插值。

有利地，被用作第三输入节点的输入参量的输出参量的分辨率具有与第三单元类型的单元的输入参量相同的分辨率。

还提出：每个第一参量都取决于相应的边的另一运算的另一第一参量，尤其是借助于softmax函数来被松弛。优选地，在选择运算时，分别选择分配有最大的第一参量的边的运算。

在这种情况下的优点在于：现在可以借助于梯度下降法通过松弛的第一参量来进行优化。

还提出：在使第一参量和参数化适配的情况下，借助于梯度下降法来优化该差并且借助于梯度下降法来优化该参数化。有利地，借助于概率优化（诸如BOHB）来确定用于优化该参数化的梯度下降法的学习率。如果神经网络已被创建，则该参数化可以再次被适配、尤其是被优化，使得该差变得最小。

梯度下降法的优点在于：该梯度下降法可缩放。BOHB的优点在于：BOHB可以并行化地被实施。

还提出：创建多个相同的神经网络，接着将这些神经网络串联连接。然后，接着关于该参数化共同优化这些串联连接的NN。

还提出：神经网络获得两个摄像机的两张立体图像，而且该神经网络被设立为根据这些立体图像来确定图像的被成像的对象的深度估计。在借助于编码器和解码器来进行处理之前，神经网络分别借助于另一编码器或滤波器、然后是相关层（英文correlationlayer）来处理这些立体图像。

摄像机可以从不同的视角来检测同一场景。

有利的是：神经网络是U-Net或者自编码器或者被设立为执行语义分割或深度估计的神经网络。

在本发明的另一方面中提出：第一方面的所创建的神经网络被用于技术系统。

该技术系统包括检测单元（例如摄像机），该检测单元与神经网络连接并且向该神经网络提供所检测到的参量（例如摄像机图像）作为输入参量。根据神经网络的所确定的输出参量来操控该技术系统的执行器。替选地，可以根据该技术系统的输出参量来确定控制参量。接着，该执行器可以根据该控制参量来被操控。

该技术系统例如可以是至少部分自主机器、至少部分自主车辆、机器人、工具、工厂机器或者如无人驾驶飞机那样的飞行器。

在另一方面中，提出了一种计算机程序。该计算机程序被设立为实施上文提到的方法之一。该计算机程序包括指令，当该计算机程序在计算机上运行时，这些指令促使该计算机以这些所提到的方法之一的所有步骤来实施该方法。还提出了一种机器可读存储模块，在其上存储有该计算机程序。还提出了一种装置，该装置被设立为实施第一方面的方法之一。

上述方面的实施例在随附的附图中示出并且在随后的描述中进一步予以阐述。

附图说明

在此：

图1示出了已知的用于DARTS的单元和新提出的上采样单元的示意图；

图2示出了用于优化具有编码器和解码器的神经网络的架构和参数化的流程图的示意图；

图3示出了至少部分自主机器人的示意图；

图4示出了用于优化神经网络的装置的示意图。

具体实施方式

具有编码器和解码器的神经网络的特点在于：具有高分辨率、例如940 x 512像素的输入参量、例如图像在通过神经网络来传播时借助于解码器被映射到中间参量上，该中间参量的分辨率低于输入参量的分辨率。例如在U-Net的情况下，该中间参量的分辨率可以为32 x 32像素。然后，该中间参量通过神经网络的解码器继续被传播，直至存在输出参量为止。输出参量可具有与输入参量相同的、更高的或更低的分辨率，但是输出参量的分辨率高于中间参量的分辨率。U-Net的输出参量的分辨率可以为388 x 388像素。

编码器可以以神经网络的多个相继连接的“下采样（downsampling）”层为形式来构造，这些“下采样”层的特点在于：这些“下采样”层使它们的输入参量的分辨率降低。输入参量的分辨率的降低可以通过“下采样”因子来被预先给定。示例性地，“下采样”层可分别具有多个3x3滤波器，这些滤波器的中间参量通过激活函数来被处理，并且然后应用步长为2的最大池化（max-pooling）。附加地，在各个“下采样”层之后可以插接使其输入参量的分辨率不被改变的层，例如全连接层（英文fully connected layer）。

解码器可以通过神经网络的多个串联的“上采样（upsampling）”层来构造。“上采样”层的数目可取决于“下采样”因子。“上采样”层可以首先执行对其输入参量的上采样，然后利用2x2或3x3滤波器来进行一次或多次卷积。

包括编码器和解码器的神经网络可以附加地具有跨接连接（英文skipconnection），这些跨接连接分别将这些“下采样”层之一与这些“上采样”层之一连接。如果通过跨接连接所提供的输入参量的分辨率并不对应于该“上采样”层的输入参量的分辨率，则通过该跨接连接所提供的输入参量可以借助于双线性插值被适配到该“上采样”层的输入参量的分辨率。

具有这种所描述的构造、即具有编码器和解码器的神经网络无法用当前的架构优化方法、例如从现有技术公知的方法DARTS来被优化。这一点应该在下文被阐述。

然而，使用DARTS进行的架构优化是值的期望的，因为DARTS的优点在于该方法使用梯度下降法并且借此能缩放。此外，借助于DARTS可以交替地优化神经网络的架构以及参数化。该参数化可以被理解成网络的所有参数，尤其是在推理的情况下，神经网络根据这些参数来确定该神经网络的输出参量。神经网络的参数化优选地包括神经网络的权重和神经网络的滤波器的滤波系数。

在DARTS的情况下，利用多个单元（英文cell）来呈现神经网络的架构，这些单元按可预先给定的顺序来彼此连接。这些被连接的单元描述了所谓的搜索网络（英文searchnetwork），应该通过该搜索网络进行优化。有一个单元是有向无环图，该有向无环图具有N个不同的节点。该单元具有至少一个输入节点，优选地这些单元具有两个或更多个输入节点。这些单元还包括多个中间节点和一个输出节点。这些节点中的每个节点都是中间参量

，换言之是神经网络的激活地图（英文activation map），而且边(i, j)中的每条边都是一种运算

、尤其是变换，该运算将节点i的中间参量

映射到节点j的中间参量x(j)上。所有节点都与所有在它们前面的节点连接。输出节点同样与所有先前的节点连接，其中输出节点的输出参量通过所有先前的节点的中间参量的组合（英文concatening）来被确定。

第j个节点的中间结果x(j)按如下地被确定：

其中

和

是所有可能的运算的集合。

如下可能的运算是可设想的：跨接连接（英文skip connection）、3x3平均池化、3x3最大池化、3x3和5x5卷积（英文dilated separable convolutions（扩张可分离卷积），例如具有扩张因子2）和“零”连接（英文zero Operation（零运算）），该“零”连接表示这些节点之间不存在的连接。

输入节点分别与搜索网络的上一单元的输出节点连接。

DARTS使用两种不同的单元类型。存在正常单元，该正常单元保持其输入参量的分辨率，并且存在归约单元，该归约单元使其输入参量的分辨率降低，优选地降低到二分之一。在图1上方示意性地用附图标记（101）来表示正常单元。示例性地，正常单元（101）包含6个节点，其中存在2个输入节点

、3个中间节点(0, 1, 2)和一个输出节点

。

为了能够通过不同的运算

来进行优化，尤其是借助于梯度下降法来进行优化，所要优化的函数必须是连续的。在DARTS中借助于插入变量

和这些变量

的松弛来实现这一点。给边(i, j)的每个运算

都分配一个变量

。变量

的松弛可以借助于被应用于边的可能的运算

的所有变量的Softmax函数来予以实现：

这引起如下等式：

等式（1）现在可以用等式（3）来被改写：

现在，架构的优化可以借助于梯度下降法通过神经网络的变量α并且通过神经网络的参数化w来交替地被执行。

借助于上述方法DARTS，可以只对具有一个编码器的神经网络进行优化。因为利用按照DARTS的两种不同的单元类型，由编码器和解码器组成的神经网络的架构无法被优化，因为对于解码器来说没有适合的单元类型可用。

因而，在下文提出了一种新的单元类型，以便也能够对具有编码器和解码器的神经网络的架构进行优化。

为此，提出了所谓的上采样单元。在图1中，用附图标记（102）来示意性地表示上采样单元。上采样单元（102）与其它单元类型（101）的区别在于：该上采样单元（102）除了在该实施例中的输入节点

之外具有两个其它的输入节点

，而且这些输入节点中的每个输入节点都与上采样节点连接，该上采样节点对输入参量进行插值，尤其是使相应的输入参量的分辨率插值成2倍。

在另一实施例中，上采样单元（102）只具有一个输入节点

并且只具有一个其它的输入节点

。

在搜索网络中，这两个输入节点

同样分别与先前的单元的输出节点连接。

其它的输入节点

在搜索网络中与先前的上采样单元的输出节点连接。其它的输入节点

与先前的正常单元或者先前的归约单元连接。

对上采样单元的输入参量的插值可以借助于转置卷积（英文transposedconvolution）来被执行。优选地，通过线性插值来执行对输入节点

的输入参量的插值。

如上文所描述的那样针对其它单元类型使用上采样单元的中间节点，尤其是使用相同的可能的运算

。

上采样单元的输出节点同样与该单元的所有先前的节点连接。优选地，所有先前的节点的结果被合并并且接着可选地借助于卷积来被处理并且然后作为输出参量来被输出。

图2示出了用于优化具有编码器和解码器的神经网络的架构和参数化的示意性流程图。

该方法（20）开始于步骤2000。在该步骤中，预先给定网络的架构。该架构例如可以通过神经网络的输入和输出参量的分辨率、输入参量的数目来被预先给定。神经网络的架构同样可以通过神经网络的中间参量的最低分辨率或者神经网络的层数目等等来被预先给定。

在方法（20）的一个实施方式中，神经网络的架构通过具有6个（卷积）层的编码器来给出，这些层分别将它们的输入参量的分辨率减半并且这些层的滤波器的数目与它们紧挨着的上一层的滤波器的数目相比翻倍。在该示例中，神经网络的解码器通过三个（卷积）层来给出，这三个（卷积）层分别使它们的输入参量的分辨率翻倍。

对于具有深度神经网络的深度估计来说，连体（Siamese）网络可以处理神经网络的输入参量并且将该输入参量转交给相关层，该相关层接着例如将它的中间参量提供给编码器。

同样，在步骤2000中可以限定单元类型的特性，例如：每个单元类型都只具有3个中间节点。同样，在步骤2000中可以规定每条边的所有可能的运算的集合。

然后，根据预先给定的架构和所限定的单元，创建搜索网络（英文searchnetwork）。为此，将这3种不同的单元类型，即正常单元、归约单元和上采样单元一个接一个地布置，使得可预先给定的架构被实现。也就是说，在步骤2000结束之后，存在搜索网络，该搜索网络包括不同的一个接一个地布置的单元，然后应该在下一步骤中对这些单元进行优化。

在该方法的实施方式中，其中神经网络具有包含6个层的编码器和包含3个层的解码器，搜索网络可以按如下地被创建：搜索网络的编码器通过正常单元和归约单元的交替布置来被创建，例如分别是两种类型的6个单元。在该实施方式中，搜索网络的解码器包括上采样单元类型的3个单元。应注意：这些层的分辨率的降低/提高与归约单元和上采样单元的分辨率的降低/提高一致。

在下一步骤2100中，提供训练数据，这些训练数据包括训练输入参量和分别被分配的训练输出参量。这些训练数据被分成两个集合，这些集合优选地分别包括相同数目的训练输入参量和分别被分配的训练输出参量。

在步骤2100结束了之后，接着是可选的步骤2200。在该步骤中，搜索网络的参数化w可以事先根据这些训练数据或者这些训练数据的两个集合中的一个来被优化。为此，通过搜索网络来传播训练输入数据。然后，根据搜索网络的所确定的输出参量和相应的训练输出参量来确定成本函数（英文loss function），该成本函数取决于参数化w和变量α。接着，借助于梯度下降法、例如Stochastic Gradient Descent（随机梯度下降，SGD），通过参数化w可以优化成本函数，尤其是将该成本函数最小化或者最大化。应注意：参数化w不必完全被优化。当该参数化仅通过多次迭代来被优化而不发生收敛时就足够了。

在可选的步骤2200或步骤2100结束了之后，接着是步骤2300。本文中按照DARTS优化算法来对搜索网络进行优化。也就是说，借助于梯度下降法通过变量α并且通过参数化w来交替地优化该搜索网络。

在步骤2100中的训练数据的两个集合中的一个上执行对变量α的优化。在该优化完成了之后，在这些训练数据的第二集合上实施对参数化w的优化。对变量α和参数化的这种交替优化被多次实施，尤其是直至满足可预先给定的中断标准为止。

例如可以借助于BOHB来单独优化梯度下降法的学习率，以便获得更好的收敛特性。利用BOHB来优化参数，为此参见开头提到的文档“BOHB: Robust and efficienthyperparameter optimization at scale”。

在下一步骤2400中，根据变量α来确定步骤2000中的预先给定的神经网络的最佳架构、尤其是最佳运算。为此，按照DARTS方法，倒退地实施变量α的松弛。这一点例如可以被执行，其中针对每条边根据变量α来选择最强的运算：

（zero：零）。

在步骤2400中确定了最佳运算之后，在步骤2500中按照所选择的这些运算和步骤2000中的预先给定的架构来对神经网络进行初始化。此外，同样针对神经网络的初始化使用在步骤2300中已被优化的参数化w。

也可设想的是：初始化的神经网络被串联多次，类比AutoDispNet-CSS。

然后，在步骤2500中，根据所提供的训练数据来重复地优化初始化的神经网络的参数化w。为此，通过初始化的神经网络来传播训练输入参量并且根据所确定的输出参量和训练输出参量来使参数化适配，尤其是依据步骤2100。

在下一可选的步骤2600中，将步骤2500中的初始化的神经网络用于机器人。例如，步骤2500中的神经网络可以被用于根据所提供的输入参量来确定输出参量，其中然后借助于控制单元根据该输出参量来控制该机器人。

借此，该方法（20）结束。

图3示出了至少部分自主机器人的示意图，该至少部分自主机器人在第一实施例中通过至少部分自主车辆（300）来给出。在另一实施例中，该至少部分自主机器人可以是服务机器人、装配机器人或固定式生产机器人，替选地可以是自主飞行器、如无人驾驶飞机。

至少部分自主车辆（300）可包括检测单元（30）。检测单元（30）例如可以是摄像机，该摄像机检测车辆（300）的周围环境。检测单元（30）可以与在步骤2600之后获得的神经网络（40）连接。神经网络（40）根据所提供的输入参量、例如由检测单元（30）所提供的输入参量并且根据神经网络（40）的多个参数来确定输出参量。输出参量可以被转发给控制单元（50）。

控制单元（50）根据神经网络（40）的输出参量来控制执行器，优选地将该执行器控制为使得车辆（300）实施无碰撞的机动动作。在第一实施例中，执行器可以是车辆（300）的马达或制动系统。在另一实施例中，该部分自主机器人可以是工具、工厂机器或制造机器人。工件的材料可以借助于神经网络（40）来被分类。在这种情况下，执行器例如可以是驱动磨削头的马达。

车辆（300）、尤其是部分自主机器人还包括计算单元（60）和机器可读存储元件（60）。在存储元件（60）上可以存储计算机程序，该计算机程序包括指令，在计算单元（60）上执行这些指令时，这些指令引起计算单元（60）按照图2实施具有其全部步骤的该方法，或者只实施步骤2600。替选地，在存储元件（60）上可以保存神经网络（40），并且该计算单元实施神经网络（40）的计算。

图4示出了用来优化、尤其是教导神经网络（40）、尤其是用来实施用于优化神经网络（40）的步骤的装置（400）的示意图。装置（400）包括训练数据模块（410）和求差模块（420）。求差模块（420）根据训练输出参量y_s和神经网络（40）的所确定的输出参量y来确定差，尤其是借助于成本函数来确定差。训练数据模块（410）包含训练数据。适宜地，这些训练数据包括多个训练输入参量，这些训练输入参量分别被标记。在优化期间，优化模块（430）根据求差模块（420）的所确定的差来确定参数化w或变量α的变化θ'。接着，根据该变化θ'，在其中保存有参数化w和变量α的存储器P中进行适配。

Claims (13)

1.一种用于创建、尤其是自动化地创建神经网络（40）的方法，所述神经网络包括编码器，所述编码器与解码器连接，其中所述方法具有如下步骤：

- 分别提供所述编码器和所述解码器的输入参量和输出参量的分辨率；

- 提供不同的单元类型，

其中每个单元类型都包括多个节点，所述多个节点按可预先给定的顺序开始于至少一个输入节点并且结束于输出节点地连接，

其中每个节点都借助于有向边与它之前的所有节点连接，

其中每条边都分配有多个可参数化的运算（

）并且所有运算分别分配有第一参量（α），

其中所述边被设立为：分别借助于被分配给先前节点的中间参量的运算中的每个运算来处理所述中间参量并且根据被分配给相应的运算的第一参量（α）来对所述中间参量进行加权相加并且将所述中间参量提供给下一个连接的节点作为所述节点的中间参量，

其中第一单元类型（英文reduction cell（归约单元））被设立为使其输出参量的分辨率相对于其输入参量的分辨率降低，

其中第二单元类型（英文upsampling cell（上采样单元））被设立为使其输出参量的分辨率相对于其输入参量的分辨率提高；

- 将不同的单元类型的多个单元串在一起，使得所提供的分辨率被实现，

其中所述单元的输入节点分别与紧挨着的上一单元的输出节点连接；

- 提供训练数据，所述训练数据包括训练输入参量和分别被分配给所述训练输入参量的训练输出参量；

- 使所述第一参量（α）和对可参数化的运算（o）的参数化（w）交替适配，

其中所述适配进行为使得借助于所述训练输入参量沿着串在一起的单元的传播所确定的输出参量与训练输出参量之差被优化；

- 根据经适配的第一参量（α），分别选择所述边的运算之一；

- 根据串在一起的单元和所选择的运算来创建所述神经网络（40）。

2.根据权利要求1所述的方法，其中所述第二单元类型还被设立为：尤其是借助于可参数化的运算，对所述输入节点的输入参量进行插值。

3.根据权利要求1或2中任一项所述的方法，其中所述第二单元类型附加地具有第二输入节点

，

其中所述第二单元类型还被设立为：尤其是借助于可参数化的运算，对所述第二输入节点

的输入参量进行插值，而且

其中在将多个单元串在一起的情况下，所述第二单元类型的单元的第二输入节点

与所述第二单元类型的上一单元的输出端连接。

4.根据上述权利要求中任一项所述的方法，其中所述神经网络（40）具有至少一个跨接连接（英文skip connection（跨接连接）），所述跨接连接将所述编码器的中间参量转发给所述解码器，

其中所述第二单元类型附加地具有第三输入节点

，并且所述第二单元类型还被设立为：尤其是借助于可参数化的运算，对所述第三输入节点

的输入参量进行插值，而且

其中在将多个单元串在一起的情况下，所述第三输入节点

与第一类型的单元之一的输出节点连接。

5.根据上述权利要求中任一项所述的方法，其中第三单元类型被设立为处理所述第三单元类型的输入参量，使得所述第三单元类型的输入参量的分辨率对应于所述第三单元类型的输出参量的分辨率，

其中在将多个单元串在一起的情况下，至少在第一或第二单元类型的单元之一之间插入第三类型的单元。

6.根据上述权利要求中任一项所述的方法，其中所述训练数据被分成第一训练数据集合（D_train）和第二训练数据集合（D_val），

其中所述参数化（w）通过所述第一训练数据集合（D_train）来被优化，而且所述第一参量（α）通过所述第二训练数据集合（D_val）来被优化。

7.根据上述权利要求中任一项所述的方法，其中每个第一参量（α）都取决于相应的边的另一运算的另一第一参量（α），尤其是借助于softmax函数来被松弛，

其中在选择运算时，分别选择分配有最大的第一参量（α）的边的运算。

8.根据权利要求7所述的方法，其中在使所述第一参量（α）和所述参数化（w）适配的情况下，借助于梯度下降法来优化所述差并且借助于所述梯度下降法来优化所述参数化，

其中借助于概率优化来确定用于优化所述参数化（w）的梯度下降法的学习率，

其中如果所述神经网络已被创建，则所述参数化（w）再次被适配。

9.根据上述权利要求中任一项所述的方法，其中针对所述第一单元类型预先给定第一因子，所述第一因子表征所述第一单元类型的输出参量的分辨率被降低了多少，而且

其中针对所述第二单元类型预先给定第二因子，所述第二因子表征所述第二单元类型的输出参量的分辨率被提高了多少。

10.根据上述权利要求中任一项所述的方法，其中所述神经网络（40）获得两个摄像机的两张立体图像，而且所述神经网络被设立为根据所述立体图像来确定图像的被成像的对象的深度估计，

其中所述神经网络借助于另一编码器来处理所述立体图像，然后这些立体图像由相关层（英文correlation layer（相关层））来处理，并且然后才借助于所述编码器和所述解码器来被处理。

11.一种计算机程序，所述计算机程序包括指令，所述指令被设立为在实施所述指令时促使计算机实施根据上述权利要求中任一项所述的方法。

12.一种机器可读存储元件（61），在其上保存有根据权利要求11所述的计算机程序。

13.一种装置（60），所述装置被设立为实施根据上述权利要求1至10中任一项所述的方法。

Images