CN110799996A - 在不同的深度学习架构之间的知识转移 - Google Patents

Abstract

本发明涉及一种方法，该方法用于将具有第一架构的第一神经网络转换到用于交通工具控制装置中的、具有第二架构的第二神经网络，以获取第一神经网络的知识并将其传输到第二神经网络。所述方法在第一步骤中，将第一神经网络的至少一个层转换到第二神经网络的至少一个层(701)。在第二步骤中，在第二神经网络架构中随机初始化至少一个经转换的层(702)。在第三步骤中，在第二神经网络中训练至少一个经转换的层(703)。在第四步骤中，对第二神经网络中未经转换的层或整个第二神经网络进行微调(704)。在多个过程或迭代中完成第一神经网络到第二神经网络的转换，在每个过程中都执行下列步骤：转换(701)、随机初始化(702)、训练(703)和同时进行微调(704)。

Description

在不同的深度学习架构之间的知识转移

本发明涉及一种用于将第一神经网络转换到第二神经网络的方法。此外，本发明还涉及一种用于执行所述转换的控制装置，一种带有所述控制装置的交通工具，程序单元和计算机可读媒介。

在当前的汽车中，基于摄像装置的驾驶员辅助系统为提高道路交通的安全性做出了重要贡献。这类系统的目标是对对象、车道和周围环境场景进行稳定可靠的识别和分类。在此，基于深度学习原理的计算机视觉和机器学习架构为稳定可靠地识别特征和对象做出了重要贡献。正是在改善对象识别方面，过去已形成了诸如残差网络(ResNet)等极为有效和功能强劲的神经网络，其特征是对象识别率高。这些神经网络具有很大的深度，并使用具有数百万数据的大数据集进行训练。借助极大数量的数据，对大型的，也包括较小的扁平网络进行训练计算工作量很大，也极为耗时，可能需要长达数周或数月的时间。但是，恰恰在具有传感器平台和嵌入式系统的汽车应用的成本敏感领域，只有有限的、籍此可基于深度学习方法和预训练神经网络实现对象识别的硬件和运行时间资源可供使用。因此，资源可用性低要求使用具有相应架构的小型高效神经网络，所述网络不仅其深度比经预训练的大型网络要浅，而且尤其在架构方面——例如其过滤器、层或卷积(Inception)等的数量——也有别于经预训练大型网络。这使得将大型神经网络简单地采用和应用于资源贫乏的控制器，以及将被采用的神经网络的高效且简单的后续训练和微调很难甚至无法实现。

借助极大量的数据训练大型神经网络，也包括训练较小、扁平神经网络都需消耗极高的计算工本和时间，耗时可达数周或数月。出于这一原因，提供具有不同架构的预训练网络，其参数可借助较小的数据集针对各相应应用进行优化，细化，或补充训练。这也被称为微调。

本发明的一项任务是，能更快、更方便地运作/调试神经网络。

该任务是通过独立权利要求的主题解决的。实施方式和其他结构形式请参见从属权利要求、说明以及附图。

本发明第一方面涉及一种方法，该方法用于将具有第一架构的第一神经网络转换到用于交通工具控制装置中的、具有第二架构的第二神经网络，以获取第一神经网络的知识，并将其传输到第二神经网络。所述方法包括以下步骤：

-将第一神经网络——例如驾驶员辅助系统——的至少一个层转换到第二神经网络——例如驾驶员辅助系统——的至少一个层；

-使第一神经网络的其余层被接管到第二神经网络中，其中，该步骤是可选的；

-在第二神经网络架构中随机初始化至少一个经转换的层；

-在第二神经网络中训练至少一个经转换的层，并同时微调第二神经网络中未经转换的层或整个第二神经网络；

-迭代重复所述方法，直到完全生成第二神经网络为止。尤其是直到鲁棒性、计算速度、存储器需求和/或识别精度满足标准要求为止。

在此，上下文中描述的方法规定了，第一神经网络在多个过程或迭代中，以逐步或迭代的方式转换到第二神经网络，其中，在每个过程中经历转换、随机初始化、训练以及微调步骤。

本发明涉及一种用于将基于深度学习的第一神经网络转移或转换到基于深度学习的第二神经网络的方法，其目的是，获取第一神经网络的知识，并将该知识传输到第二神经网络。在此，两个神经网络可以具有不同架构，也被称为网络架构。换句话说，第一神经网络的各层可被转换到第二神经网络的层。由此，微调方法可以成本和资源经济合理的方式应用于具有与第一神经网络不同架构的第二神经网络。经转换的层和从第一神经网络接管的层可借助小得多的数据集进行补充训练和微调。

第二神经网络尤其设置用于交通工具或交通工具控制装置中。作为替代选择或附加措施，第一神经网络可以已经被提供用于交通工具或交通工具特有的控制装置。此外，例如由于控制装置(用于第二神经网络的目标硬件)具有不同的硬件架构，第一神经网络可被转换到多个第二神经网络。在此情况下，多个第二神经网络可各自分别具有取决于硬件的不同第二架构。

应注意的是，即使第二神经网络具有与第一神经网络不同的架构，通过上下文所述的方法也可以将第一神经网络的知识传输到第二神经网络中。由此，第一神经网络的知识能够得以保留。

神经网络的结构被称为架构或网络架构，即神经网络有多少层以及各层是怎样设计的。此外，各层的加权和过滤都会影响架构。在此，第一神经网络的至少一个层可被转换到第二神经网络的至少一个层。随后，可对第二神经网络的经转换的层进行随机初始化。换句话说，可以加权和过滤可以被施加随机数值。第一神经网络的其余未经转换的层可无变化地被接管到第二神经网络。可在第二神经网络中补充训练经转换的层，并在第二神经网络中微调其余未经转换的层。微调和补充训练可以同时进行，即在所述方法的一个步骤中进行。但是，也可设想在分开的步骤中进行微调和补充训练。补充训练和微调这两个步骤的数据集可以是相同的。但也可在这两个步骤中使用不同的数据集。以此方式，可将第一架构迭代式地转换到第二架构，直到最终架构。应注意的是，在每个过程或在每次迭代中，第一神经网络的其他层可被转换到第二神经网络的层。由此，可基于非常大的数据集对其进行训练，并将在第一个神经网络中编码的知识传输到新的和/或经修改的第二神经网络，或可以获取所述知识，直到最终架构为止。由此，可减少使用多种数据对第二(或第n)个神经网络的密集型补充训练。在将第一神经网络转换到第二(或第n)神经网络后，可使用小的数据集来执行微调。此外，在现场学习的——例如通过在道路上行驶得到的——知识可被传输到(新的)第二神经网络，该第二神经网络可具有新的第二(或第n)架构。通过将已有神经网络(第一神经网络)转换到第二(或第n)神经网络，仍可继续有效使用微调方法，即以小数据集微调，以实现所期望的结果。这一方面可避免第二(或第n)神经网络长时间的新训练，另一方面可避免以耗费极大的方式建立新训练和测试数据。因为这些数据一般情况下都必须手工处理和设置。通过罕见场景所学到的知识也保留在第二(或第n)神经网络中。如果所述训练数据集不反映或不能反映这些事件，则这将特别有益。在此，可使用相同的数据集或新的数据集实行微调。微调尤其用于对两个神经网络的不同架构进行调整匹配，从而不必建立新的数据集，而是可使用第一神经网络的数据集。换句话说，通过微调可针对第二架构对第二神经网络进行优化。此外，相对于新的训练，这种转换可大幅度节省训练时间，因为不必对各个单层进行完整的新训练，而是进行有针对性的调整匹配和微调。此外，与新训练相比，这些迭代执行的步骤可使用较小数据集来执行。通过使用上下文所述方法，可生成具有高对象识别品质的第二(或第n)神经网络。

在一实施例中，第一和第二(或第n)这两个神经网络都用于执行对象识别。例如，用于从摄像装置的图像数据或从雷达或激光雷达数据中识别出交通参与者(交通工具、行人和骑自行车者)、道路标记、交通标志或建筑工地标记。此外，在因例如传感器等导致的硬件变换或架构变换情况下，也可将“旧”的第一神经网络转换到“新”的第二(或第n)神经网络。由此方便了用新一代传感器产品替换旧一代传感器产品。此外，由于可将新的硬件较快整合到现有系统中，因此可提高灵活性。尤其是在变换计算单元或变换为功能更强劲的芯片时更是如此。

为能立足市场，“易于使用”这一点具有重要意义。通过上下文所述的方法可迅速对客户的需求作出反应，并可方便地在深度学习领域内进行调整匹配。此外，上下文所述的方法能使非常强大和复杂的第一神经网络以及相应架构转换到相对而言不太复杂、但有效的第二(或第n)神经网络，以应用于控制装置。如果例如驾驶员辅助系统的控制装置上的硬件计算能力受到限制，这一点尤为重要。

所述方法各步骤可同时进行或按顺序依次进行。此外，所述方法各单步骤之间可以存在较大的时间段。各单步骤的顺序也可被更改。

上下文所述的方法可被应用于多种不同的对象识别用神经网络，例如，长短期记忆网络(LSMN/LSTM)和/或递归神经网络(RNN)。此外，该方法被应用于连续的、基于终身和基于奖励的深度学习方法。在此包括例如基于强化学习技术的架构和方法。为了更好地提取特征，也可使用具有反馈环节或并行路径的神经网络。此外，所述神经网络可扩展到使用空间和时间数据的对象检测方法领域，例如包含诸如光流、视差图或深度图的视频和/或图像。应注意的是，上下文所述的方法也适用于语音识别、模式识别、预测，字符识别、优化、马达控制、时序分析或加密所用的神经网络，这些在交通工具环境中也使用得越来越多。

所述方法可独立于数据应用在所有架构。这也适用于来自具有输入数据的应用的信号处理，输入数据例如为热图像、超声波图像、磁共振信号、近红外光谱和/或计算机断层扫描数据、但也可以是音频数据、雷达数据、激光数据和激光雷达数据。此外，所述方法可用于机器视觉的机器人技术中，尤其是用于高级辅助驾驶系统(ADAS)。

“层”是指神经网络的各个单层或位址。因此，在本发明的上下文中，术语“层”与术语“层”或“位址”同义使用。一般情况下，一个神经网络至少具有一个层。但通常情况下，一个神经网络具有多个复杂度不同的不同层。可根据例如传感器等基础硬件的计算来选择要转换的层。由此，可得出第二神经网络的架构。由此，例如对具有较低计算性能的较小的交通工具控制装置，可使用具有较少的层数和滤波器的较小神经网络，从而针对控制装置的硬件优化第二神经网络的架构。

“训练”是指有针对性地为神经网络提供/施加已知的输入数据。其结果——即神经网络针对已知的输入数据的输出，可以被回馈到神经网络。同时，可附带提供针对具体问题的解决方案。换句话说，神经网络对输入数据进行处理，并将其与预定的理论结果进行比较。接着，一直对神经网络进行调整匹配，直到该神经网络生成所需结果为止。为使神经网络可靠地识别和分类多个不同的输入数据，需要大量的训练数据。此外，根据神经网络的复杂性和训练数据的数量，训练需要一定的时间段和计算性能。

所述微调是指借助于小的特定数据集，细化和补充训练神经网络，其中，在此所使用的神经网络已经过预训练。此处所述的情况下，微调尤其用于对第二神经网络的第二架构的调整匹配，由此可以与第一神经网络相同的方式使用相同的数据集。换句话说，通过微调可更好地优化目标硬件。

为了简化描述，术语“对象检测”是通用的，并指各种形式的识别，例如车道识别、例如交通参与者等对象识别、交通标志识别、道路标记识别、施工现场识别、手势识别和/或面部识别。

一般情况下，在大型的第一神经网络中会训练很多知识。但所述第一神经网络并非必然能被传输到新的硬件结构或硬件上。此外，针对新硬件结构进行新的神经网络的训练需要花费很长时间。另外，第一神经网络的训练数据可能无法以指定形式和品质供新神经网络使用。因此，与第一神经网络相比，新神经网络的性能比较差。为解决上述问题，可使用上下文所述的方法将第一神经网络转换到第二神经网络，从而保留第一神经网络的知识和训练，这样得出的训练数据集可以更小，训练所花时间可大幅度减少。

示例：

给出了具有以下第一架构(A_Basis)的第一神经网络：

三原色光模式(RGB)图像用作输入变量。

第一神经网络的架构(A_Basis)有20层，每层各有200多个过滤器以及1x1和3x3的卷积。由此，第一神经网络的总复杂度超过50GMAC(千兆乘积累加运算)和5000万个参数。

但是，目标硬件的嵌入式系统架构仅支持2x2卷积，并且嵌入式系统的输入图像也处于另一色彩空间中。

A)为了节省将输入图像转换或转移为三原色光模式(RGB)颜色空间的计算量，对具有第一架构A_Base的第一神经网络的前n层进行转换和随机初始化，其中，利用嵌入式系统架构的色彩空间中的图像来训练具有架构A的网络。所述步骤可细分为多个子步骤，其中，输入层的数量、滤波器的数量和层的类型可被调整匹配，从而为嵌入式系统生成优化的第二神经网络架构。

B)如果可在嵌入式系统上有效计算具有架构A的神经网络输入层，则在下一步骤中，将第一神经网络的中间层迭代替换为经由硬件优化的层(仅2x2卷积)(针对嵌入式系统的硬件优化)，并重新初始化和补充训练。由此，针对硬件(嵌入式系统)优化了具有架构B的神经网络的输入层和中间层。

C)最后，针对硬件迭代优化具有架构B的神经网络的输出层。因此，输出层被硬件优化层(仅2x2卷积)迭代替换，重新初始化并补充训练。现在，具有第二架构的第二神经网络仅由2x2卷积组成，每层滤波器的数量已针对嵌入式系统上的运作进行了优化，GMAC(千兆乘积累加运算)的总数已减少至适合实时运作的数量，例如1GMAC(千兆乘积累加运算)。

具有架构C的第二神经网络与具有架构A_BASIS的第一神经网络具有相同的性能，但在层的类型和数量、滤波器数量和输入图像类型方面有所不同。

换句话说，具有第一架构的第一神经网络的单层或多层可被逐步转换或转移成具有第二架构的第二神经网络。在此，可针对要解决的任务(例如对象识别或语音识别)或运行第二神经网络的硬件，对第二神经网络的层进行优化。由此，尽管两个神经网络的架构不同，但可使第一神经网络的性能得以保持。

其他例子：

第一神经网络用于识别道路交通中的对象，并已进行了相应训练。目前，第一神经网络由交通工具中的第一控制装置运行。此外，在众多试运行中，第一神经网络得到了进一步细化，使其更加可靠，并在实际行驶条件下识别更多对象。

现在决定更改为与以前所用硬件明显不同的控制装置硬件。

通过上下文所述的方法，现可将第一神经网络和包含在该网络中的知识逐步转换、转移或转变到第二神经网络。由此，可以简单、快速并节省资源的方式建立用于新硬件的第二神经网络。它由此消除了繁琐和计算密集型的新训练。此外，随着时间所积累的第一神经网络的知识仍然存在于第二神经网络中。换句话说，可对硬件的变化做出快速反应，而无需在对象识别中进行新的训练，并不会造成质量损失。此外，在转换期间，可有针对性地对新硬件进行优化，以便更有效、更可靠地在目标硬件上运行第二神经网络。

根据本发明一实施方式，第一神经网络转换到第二神经网络在上下文所述的方法的多个过程中，即以逐步或迭代的方式实施，其中，在每个过程中进行转换步骤、随机初始化步骤、训练步骤及微调步骤。

为降低计算性能，可逐步，即分多个过程实施将第一神经网络转换到第二神经网络的方法。在此，在每一步骤中，可将第一神经网络的至少一个层转换到第二神经网络的至少一个层。转换至少一个层后，将其随机初始化。在此过程中未转换的第一神经网络的层可无变化地由第二神经网络接管。在对经转换的层随机初始化后，可在第二神经网络中对其进行补充训练，与此同时，可通过微调使从第一神经网络接管的、第二神经网络的层与第二神经网络相匹配。由此可构成第一代的第二神经网络。

在下一步骤中，可将第一代的第二神经网络作为基础。基于此，第一神经网络的(之前尚未被转换的)下一个的至少一个层可被转换到第二神经网络的至少一个层。在此，也可以无变化地接管第一神经网络的一层。由此建立的神经网络由第一代转换得到的层、当前转换得到的层和从第一神经网络接管的层构成。在第二个过程中经转换的层也可被随机初始化。此外，可对随机初始化得到的层进行补充训练，并同时可对由第一神经网络接管得到的层进行微调。第二代的微调可包括在第一代经转换的层中，由此也可对其进行微调。由此可构成第二代的第二神经网络。

这些步骤可以一直执行，直到第一神经网络的所有层都已被转换到第二神经网络的层。换句话说，该方法可以规定多个过程，例如经3个、5个、20个，也包括通常情况下的n个过程完成，其中，n是一整数。

一般情况下从输入层开始，向神经网络输出层的方向逐步进行转换。但也可考虑从第一神经网络的输出层开始，逐步执行所述方法，直至输入层为止。

此外，除了逐步转换外，还可同时转换。换句话说，第一神经网络要转换的所有层被同时转换到第二神经网络的层。

根据本发明另一实施方式，所述方法还包括将第一神经网络的至少一个层无变化地传输到第二神经网络的步骤。

所述方法还可以规定，第二神经网络也能无变化地接管第一网络的层。由此，可减少将第一神经网络转换到第二神经网络的工作量，并由此节省计算时间。

根据本发明一实施方式，转换步骤包括将第一神经网络的至少两个层转换到第二神经网络的一个层。

在将第一神经网络转换到第二神经网络的每个步骤中，第一神经网络的多个层可被转换到第二神经网络的一个层或多个层。例如，第一神经网络的三个层可被组合成第二神经网络的两个层。由此，与第一神经网络相比，可降低第二神经网络的复杂性。第二神经网络由此也可在计算性能较低的硬件上运行。

根据本发明另一实施方式，转换步骤包括将第一神经网络的一个层转换到第二神经网络的至少两个层。

除了对第一神经网络的多层进行组合外，所述方法还可以规定，将第一神经网络的一个层或多个层转换到第二神经网络的多个层。例如，可将第一神经网络的两个层转换到第二神经网络的五个层。由此，可在第二神经网络中设置规定的重心/重点，使其在第二神经网络的规定位置处具有更高的准确性和/或可靠性。

根据本发明一实施方式，转换步骤可以包括仅将第一神经网络的输入层转换到第二神经网络，其中，所述方法规定，第一神经网络的其余层无变化地传输到第二神经网络中。

如果由于传感器硬件的改变，例如由于使用具有诸如焦距或色彩空间等其它物理参数的另一摄像装置，则需要将第一神经网络转换到第二神经网络，上下文所述的方法可以规定仅转换一个或多个输入层，并无变化地接管其余神经网络。尤其是对诸如摄像装置等新的传感器这更为有益，这是因为在示例性地改变了成像器或光学模块时，可以不必由于例如颜色等的输入信息的变化而转换整个网络，只需对输入层加以转换就行了。例如“旧”摄像装置可提供YUV颜色空间的图像，而“新”摄像装置可生成三原色光模式(RGB)图像。这也可仅通过对输入层的转换，有效、经济合理地加以实现。此外还应注意的是，输入层本身可有多个层，例如前五个层。由此，具有神经网络的控制装置可简单、快速和经济合理地被加以调整匹配，以适应新的输入变量。如果例如在交通工具中摄像装置被较新的款式替代，则这会具有特别的优点。

根据本发明一实施方式，所述方法规定，针对要运行的硬件对第二神经网络的第二架构进行优化或压缩。

换句话说，选择第二神经网络架构的方式可以是，针对随后运行第二神经网络的硬件对所述架构进行优化。例如可规定，第二神经网络应在交通工具的“嵌入式系统”或控制装置上运行。在此情况下，“嵌入式系统”或控制装置的计算性能可能会受到限制，因此通过对架构进行优化以使之适应相应的硬件，第二神经网络仍能运行。通过优化或压缩第二神经网络，可在不降低第二神经网络质量的情况下，减少计算时间或降低计算性能。应注意的是，通过上下文所述的用于将第一神经网络转换到第二神经网络的方法，可将包含在第一神经网络中或在第一神经网络中经编码的知识转移到第二神经网络中。如果第二神经网络的架构与第一神经网络的架构明显不同，或如果所述方法为适应硬件运行而对第二神经网络的架构进行优化或压缩，则尤其会发生这种情况。

根据本发明一实施方式，所述方法还包括以下步骤：

-从第一神经网络中提取子网络；

-在第二神经网络的架构中将子网络随机初始化；

-在第二神经网络的架构中训练子网络；

-将子网络用作独立的神经网络；

-以迭代的方式重复第一神经网络至少一个层的转换、随机初始化、训练及同时进行的微调。

除了将第一神经网络转换到第二神经网络外，上下文所述的方法还可以规定，提取第二神经网络的一部分作为子网络。提取得到的子网络例如可用于诸如另一控制装置等另一硬件。此外，第二神经网络可分布在不同的控制装置或计算单元上，使得这些多个控制装置中的每一个都可以具有并计算所述第二神经网络的一部分。换句话说，第二神经网络可分为多个子网络，这些子网络又可在不同的计算单元或控制装置上运行。

上下文所述的方法不仅可以应用于神经网络的转换，而且可以应用于诸如马尔可夫链、隐马尔可夫模型、马尔可夫随机场、玻尔兹曼机器或条件随机场等的图形模型。

此外，通过所述方法，可将例如用于图像传感器——诸如摄像装置等——的第一神经网络转换到用于另一类传感器——诸如雷达传感器、超声波传感器、激光雷达传感器或激光扫描仪等——的第二神经网络。

本发明的另一方面涉及一种用于一交通工具的控制装置，所述装置用于将第一神经网络转换到第二神经网络。所述控制装置具有带有第一架构的第一神经网络和带有第二架构的第二神经网络。第一架构和第二架构彼此不同。第一神经网络和第二神经网络有至少一个层。控制装置还设置用于，逐步将第一神经网络转换到第二神经网络，其中，控制装置设置用于，在逐步转换的每一过程中将第一神经网络的至少一个层转换到第二神经网络的至少一个层。此外，控制装置设置用于，在每一过程中第二神经网络中对至少一个经转换的层进行随机初始化和训练，以及对未经转换的层、相应选择的层或整个第二神经网络进行微调。

上下文所述的方法可通过驾驶员辅助系统的控制装置执行。控制器还可设置用于，执行第一神经网络到第二神经网络的转换。所述控制装置还可以从第二神经网络提取第二神经网络的一部分，即一所谓的子代网络。随后，这一提取到的子网络可用于另一控制装置和/或诸如摄像装置等传感器。还应注意的是，第一神经网络到第二神经网络的转换也可在诸如服务器或计算机等的另一计算单元上运行，然后将第二神经网络传输到所述控制装置上。例如，控制装置可改变或调整匹配输入层，使得改变的输入数据能够被自适应地得到考虑，该输入数据例如通过摄像装置例如在色彩方面被改变。

根据本发明一实施方式，所述控制装置设置用于，通过第二神经网络处理输入数据。

一般情况下，神经网络用于处理数据，尤其用于对象识别和分类。通过上下文所述的方法生成的第二神经网络也可用于这一目的。为此，在驾驶员辅助系统控制装置上的第二神经网络可识别诸如摄像装置图像数据或雷达数据等输入数据中的对象，并对其进行相应分类。随后，通过第二神经网络生成的输出数据可用于供驾驶员辅助系统完成其任务。

根据本发明另一实施方式，控制装置设置用于，将第一交通工具系统的第一神经网络转换到第二交通工具系统的第二神经网络。

控制装置可设置用于，将例如用于图像数据的第一神经网络转换到例如用于雷达数据的第二神经网络。由此，在雷达传感器的控制装置中也可以执行有效的对象识别。

本发明另一方面涉及一种带有一上下文所述的控制装置的交通工具。

本发明另一方面涉及一种带有一上下文所述的控制装置的驾驶员辅助系统。

术语“交通工具”不仅限于轿车，还包括卡车、巴士、摩托车、拖拉机、坦克、工程机械、有轨车辆、船舶以及例如直升机或飞机等空中交通工具。

本发明另一方面涉及程序单元，如果在驾驶员辅助系统的控制装置上运行该程序单元，驾驶员辅助系统则执行上下文所述的方法。

本发明另一方面涉及存储有程序单元的计算机可读介质，该程序单元使驾驶员辅助系统的控制装置以执行上下文所述的方法。

本发明的其他特征、优点和应用可能性可从以下实施例的描述和附图中得出。

附图皆为示意图，未按比例绘制。如果在下列图的描述中使用相同的附图标记，则说明这些是相同或相似元素。

图1示出根据本发明一实施方式将第一神经网络转换到第二神经网络。

图2示出根据本发明一实施方式将第一神经网络转换到第二神经网络的第一过程。

图3示出根据本发明一实施方式将第一神经网络转换到第二神经网络的第二过程。

图4示出根据本发明一实施方式将第一神经网络转换到第二神经网络的第三过程。

图5示出根据本发明一实施方式仅将第一神经网络的输入层转换到第二神经网络。

图6示出根据本发明一实施方式第二神经网络一部分的特征提取。

图7示出根据本发明所述方法的流程图。

图8示出执行根据本发明所述方法的控制装置。

图9示出带有根据本发明一实施方式所述控制装置的交通工具。

图1示出，具有第一架构的示例性第一神经网络1已被转换到具有第二架构的示例性第二神经网络2。无论是图1上方示出的第一神经网络1，即输出网络，还是图1下方示出的第二神经网络2，即目标网络，都具有多个不同的层110、120和140。这些层110、120和140由不同尺寸的不同方框来表示。空框120，即没有阴影线的空框在此表示被无变化转移到第二神经网络2中的层。第一神经网络1的细阴影框110表示从第一神经网络1转换到第二神经网络2的层。在此，转换的进行包括加权和过滤。空箭头200表示各个要转换层110的转换。转换后，在第二神经网络2中对层进行随机初始化并进行训练。如果完成了此操作，经转换的层140由粗阴影框140表示。由此生成了第二神经网络2。

根据本发明一实施方式，在此可以将要转换的多个层转换到第二神经网络2的唯一一个层。此外，也可以将第一神经网络1中的唯一一个层转换到第二神经网络2的多个层。此外，将第一数量的层转换到第二神经网络2的任意的第二数量的层的任何居间的可行方案都是可能的。由此，第二神经网络2具有不同于第一神经网络1的另一架构。

用于有针对性地将第一神经网络1中的相应层转换到第二神经网络2的方法提供的优点是，第一神经网络1的知识不会被丢失。知识在第一神经网络1的层110和120中被编码，因为知识还在第一神经网络1的运行期间被收集。另一优点是，第二神经网络2可在不降低质量的情况下以明显更少的训练数据进行训练。由此减少了建立训练数据这耗费工本的作业，并还减少了训练时间。如果由于用于输入数据的硬件——例如传感器——改变和/或由于计算单元硬件改变而致使神经网络需要变换，则这样做特别有益。由此，通过图1中所示的方法，与神经单元的新训练相比，可省时省钱。如图2至图4所示，第一神经网络1转换到第二神经网络2可在一个步骤中执行或分多个过程进行。

所述转换200基于的原理是，在每一次中逐步转换第一神经网络1的各层110，并且在随机初始化之后可以随后在第一神经网络1的剩余的、仍然存在的结构中被训练和细化。在此，第一神经网络1可是一经预训练的神经网络或上一代产品的现有神经网络。此外，以加权和层编码的方式将第一神经网络1的知识转换或转移到第二神经网络2。由此可保持数代产品的知识。第二神经网络2尤其被用于交通工具的控制装置。

图2至图4示出，第一神经网络1逐步转换到第二神经网络2。在此，图2显示在第一神经网络1转换到第二神经网络2时，生成第一代的第二神经网络2的第一过程。在第一步骤中，将要转换的第一神经网络1的第一层110转换210成具有相应架构的第二神经网络2的层。在转换210中，同时对经转换的层进行随机初始化。由此构成经随机初始化的层130。剩余的神经网络及其权重、过滤器和层无变化地从第一神经网络1被接管220到第二神经网络2。在此，接管到的层还可包含稍后转换过程中被转换的层。在新层120包括权重和过滤器的随机初始化后，在第二神经网络2中的新层被训练220。由此，所述层成为在第二神经网络中已训练的层140。同时，已接管的层可借助小数据集和微调方法240针对第二神经网络进行调整匹配。用于训练和微调的数据集可以是相同的，但也可使用不同的数据集。完成这些步骤后，第一代的第二神经网络2的建成。

图3示出，从第一神经网络1到第二神经网络2的第二代转换(用于生成第二代第二神经网络)的第二过程。为此，将图2所述方法应用于下一组要转换的层110，其中，第二神经网络的第一代用作基础。在此，随后的层也被直接接管220到第二神经网络2中。此外，已被转换和训练的第一代的层140保持不变。第二个过程中经转换的层130及其权重和过滤器的随机初始化210后，将对所述层进行训练230。同时，第二神经网络2借助已用于建立第一代的相同数据集以及微调方法240进行调整匹配。训练结束后，第二神经网络2的下一代建成。

图4示出了图3之后的、从第一神经网络1到第二神经网络2的第三代转换的过程。在此，也将第一神经网络1下一次要转换的层110转换210成第二神经网络2的层，与此同时，源于上一代的神经网络及其权重、过滤器和层保持不变。与图2和/或图3不同地示出了，第一神经网络1的一个层在第二神经网络2中被扩展增加了另外两个层。由此转换的层也被随机初始化210，从而构成经随机初始化的层130。随后，在第二神经网络2中对经随机初始化的层130及其权重和滤波器进行训练230。同时，借助已被用于建立第一代和第二代的相同数据集以及微调方法240对第二神经网络2进行调整匹配。该步骤结束后，第二神经网络2的下一代建成。

借助所述的逐步方法，可将第一神经网络1转换到第二神经网络2。转换结束后，可借助微调方法和其他数据集来针对所需的情景来细化第二神经网络2。所述微调尤其可用于满足第二架构的要求。随后，经转换的神经网络可使用在驾驶员辅助系统的控制装置上，例如用于识别对象或语音指令。

图5示出了仅对输入层150进行转换，用于处理经改变的输入信息。这例如可能在更换摄像装置时是必要的，因为图像拍摄单元和图像预处理阶段会改变成，例如取代三原色光模式(RGB)图像将YUV图像供神经网的输入层150使用。然而，在图5所示的方法中，只有输入层150被转换，第一神经网络1的其余层120可无调整匹配就被接管220。开始时进行转换200以及在第二神经网络2中对所涉及输入层150进行随机初始化。在此，第一神经网络1的其余架构保持220不变。随后，借助于匹配于所存在问题的小数据集，对输入层150进行训练。接着，借助微调方法对无变化架构进行补充训练。结果是，具有经转换的输入层160的第二神经网络2可供使用。

图6示出所介绍的将第一神经网络1转换到第二神经网络2方法的另一示例。图6还示出从第二神经网络2提取一子网络3，也被称为子代网络，并将所述子网络用于其他目的，例如用于另一控制器中的应用。较小的子网络3可在第二神经网络2中训练。而经训练的子网络3可在一任意应用中作为独立的神经网络使用，并可借助微调方法进一步改进。所获得的子网络6尤其可用于特征提取。

图7示出一根据本发明所述方法的流程图。在步骤701中，第一神经网络的至少一个层被转换到第二神经网络的至少一个层。随后的步骤702中，对至少一个经转换的层进行随机初始化。在步骤703中，在第二神经网络中训练经转换的层。最后，在步骤704中，借助微调使未经转换的层，即从第一神经网络接管的层适配于第二神经网络。

图8示出执行所述方法的控制装置800。所述控制装置800可以是驾驶员辅助系统的一部分。

图9示出具有执行本发明所述方法的控制装置800的交通工具900。

附图标记列表：

110 第一神经网络的待转换的层

120 将层无变化传输到第二神经网络中

130 层的随机初始化

140 在第二神经网络中训练的层

150 第一神经网络的待转换的输入层

160 第二神经网络的经转换的输入层

200 第一神经网络转换到第二神经网络

210 转换到第二神经网络并随机初始化

220 无变化接管层到第二神经网络中

230 在第二神经网络中的经转换的层的训练

240 在第二神经网络中微调已接管的层

250 转换第二神经网络的输入层

701 将至少一个层转换到第二神经网络的步骤

702 经转换的层随机初始化的步骤

703 在第二神经网络中训练经转换的层的步骤

704 在第二神经网络中微调已接管层的步骤

800 用于转换方法的控制装置

900 具有控制装置的交通工具

Claims (14)

1.一种方法，该方法用于将具有第一架构的第一神经网络转换到用于交通工具控制装置中的、具有第二架构的第二神经网络，以获取第一神经网络的知识并将其传输到第二神经网络，所述方法包括以下步骤：

-将第一神经网络的至少一个层转换到第二神经网络的至少一个层(701)；

-在第二神经网络架构中随机初始化至少一个经转换的层(702)；

-在第二神经网络中训练至少一个经转换的层(703)，同时对第二神经网络中未经转换的层或整个第二神经网络进行微调(704)；

其中，在多个过程中将第一神经网络转换到第二神经网络，在每个过程中都执行下列步骤：转换(701)、随机初始化(702)、训练(703)和同时进行微调(704)。

2.根据权利要求1所述的方法，

其中，第一神经网络的第一架构不同于第二神经网络的第二架构。

3.根据上述权利要求中任一项权利要求所述的方法，其还具有下列步骤：

-将第一神经网络的至少一个层无变化地传输到第二神经网络。

4.根据上述权利要求中任一项权利要求所述的方法，

其中，转换步骤包括将第一神经网络的至少两个层转换到第二神经网络一个层。

5.根据权利要求1至3中任一项权利要求所述的方法，

其中，转换步骤包括将第一神经网络的一个层转换到第二神经网络的至少个两层。

6.根据上述权利要求中任一项权利要求所述的方法，

其中，转换步骤仅包括将第一神经网络的输入层转换到第二神经网络，其中，所述方法规定，第一神经网络的其余层无变化地传输到第二神经网络中。

7.根据上述权利要求中任一项权利要求所述的方法，

其中，所述方法规定，针对运行的硬件对第二神经网络的第二架构进行优化或压缩。

8.根据上述权利要求中任一项权利要求所述的方法，还具有下列步骤：

-从第一神经网络中提取子网络；

-在第二神经网络的架构中将子网络随机初始化；

-在第二神经网络的架构中训练子网络；

-将子网络用作独立的神经网络。

9.一种交通工具(900)的控制装置(800)，所述控制装置用于将第一神经网络转换到第二神经网络并包括：

-具有第一架构的第一神经网络(1)；

-具有第二架构的第二神经网络(2)；

其中，第一架构不同于第二架构，

其中，第一神经网络(1)和第二神经网络(2)具有至少一个层(110、120、130、140、150、160)，

其中，控制装置(800)设置用于，将第一神经网络(1)逐步转换到第二神经网络(2)，

其中，

控制装置(800)设置用于，在每个步骤中将第一神经网络(1)的至少一个层(110、120、150)转换到第二神经网络(2)的至少一个层(130、160)，

其中，控制装置(800)设置用于，在每个步骤中在第二神经网络(2)中随机初始化和训练至少一个经转换的层(130)，以及对未经转换的层(110、120)或整个第二神经网络进行微调。

10.根据权利要求9所述的控制装置(800)，

其中，控制装置(800)设置用于，借助于第二神经网络(2)处理输入数据。

11.根据权利要求9和10所述的控制装置(800)，

其中，控制装置(800)设置用于，将第一交通工具系统的第一神经网络(1)转换到第二交通工具系统的第二神经网络(2)。

12.一种具有根据权利要求9至11中任一项权利要求所述控制装置(800)的交通工具(900)。

13.一种程序单元，当在驾驶员辅助系统的控制装置上运行该程序单元时，所述控制装置使得根据权利要求1到8中任一项权利要求所述的方法被执行。

14.一种计算机可读媒介，在该计算机可读媒介上存储有根据权利要求13所述的程序单元。

Images