CN111753981A - 用于较高维度数据的神经网络训练的再使用 - Google Patents

Abstract

一种用于使被预先训练成处理维度N的输入数据的神经网络（1）适应于处理维度M的输入数据（1a）的方法（100），其中M＞N，该方法（100）包括：针对接受维度n的输入数据（11a）并且利用由权重集（11b）表征的处理功能将这些输入数据（11a）映射为维度o的输出数据（11c）的神经网络（1）的至少一个层（11），对处理功能进行比例缩放和/或增强（110），使得其容纳维度m>n的输入数据（11a）而保持由相同的权重集（11b）表征。一种用于利用被训练成处理维度N＜M的输入数据（1a）的神经网络（1）来处理维度M的输入数据（1a）的方法（200）。一种用于进一步训练经预先训练的神经网络（1）的方法（300）。

Description

用于较高维度数据的神经网络训练的再使用

技术领域

本发明涉及神经网络，特别是用于在图像分类任务中使用的神经网络。

背景技术

神经网络的深度学习已经改进了许多真实世界图像分类应用的性能。例如，图像分类在用于至少部分自动化车辆的控制系统中是至关重要的，所述车辆必须快速地对出现在其周围的对象作出反应。US2019/033865A1给出了采用多个这种网络的控制系统的一个示例。

训练非常深的模型需要大量的计算资源。例如，训练公知的"Resnet-101"类型的模型即使在强大的GPU上也可能花费数周。一旦付出了这样的训练努力，就希望在尽可能多的情况下再使用所训练的模型，以便缩短时间并减少手头的具体任务的财务努力。为此，像MATLAB和Keras的流行神经网络软件包与预先训练的神经网络一起提供。

发明内容

本发明人已经开发了一种用于使被预先训练成处理维度N的输入数据的神经网络适应于处理维度M的输入数据的方法，其中M＞N。

本发明人已经发现，为了节省计算资源，神经网络的预先训练通常限于与出现在真实世界应用中的维度相比相当低维度的输入数据。例如，当网络用于处理作为输入数据的图像时，图像分辨率通常被限制为仅256×256像素，其对应于65536个维度。但是在真实世界应用（诸如车辆环境中的对象识别）中，对应于4194304个维度的2048×2048像素的图像并不罕见。当然，输入图像可以被按比例缩小，使得神经网络的输入层可以将其容纳（accommodate）到例如256×256像素。然而，这种比例缩放可能失去输入图像中的小但却重要的细节。

因此，根据本方法，对于接受维度n的输入数据并且利用由权重集表征的处理功能将这些输入数据映射为维度o的输出数据的神经网络的至少一层，该处理功能被比例缩放和/或增强，使得它容纳维度m>n的输入数据，同时保持由相同的权重集表征。

以这种方式，已经进入网络的训练可以直接用于较高维度数据，使得可以再使用先前付出的努力。例如，这允许直接工作在高分辨率图像上，而不必将该图像按比例缩小到神经网络被预先训练的图像大小，以便立即获得推断结果。

此外，可以使用较高维度数据进一步训练神经网络。例如，可以使用更特定于手头任务的输入数据来进一步训练已经利用相当一般的输入数据预先训练的神经网络。例如，用于图像分类的神经网络可以已经使用大的但是非常一般的图像集进行了预先训练，该图像集被"标记"有其中包含的对象的类型。然后，其可以以手头的特定任务中出现的图像分辨率进行训练。这减轻了对该特定任务的训练中的若干瓶颈。

首先，当从头开始训练神经网络时，需要相当大的输入数据集和对应的"地面真值（ground truth）"，以使神经网络在其任务处变得熟练。例如，为了训练用于图像分类的网络，可能需要数万或数十万个训练图像。

对于手头的实际任务，诸如定位特定产品中的缺陷或从医学图像中分类潜在的医学状况，这样的大组训练数据可能不容易获得。获得产品缺陷的训练数据可能需要首先制造足够数量的产品单元，从而创建了鸡和蛋问题。获得用于分类医疗状况的训练数据可能需要临床专家对医疗图像进行标记。

另一方面，用于训练图像分类的标记图像的一般集合是容易获得的。然而，这样的数据集通常仅在较低分辨率下可用。

一般预先训练和特定进一步训练的组合在某种程度上类似于人类学习。当儿童学习如何使用旱冰鞋和冰鞋时，他需要学习一些关于如何在脚处于相对于地面迅速移动的一些移动辅助设备中时保持平衡的基本知识。当儿童后来去滑雪时，滑雪板就落入了"相对于地面迅速移动的移动辅助设备"的相同一般类别下。因此，如果儿童以前已经学会了如何使用旱冰鞋和冰鞋，则学会如何滑雪就容易得多。

其次，进一步训练仍然工作于与在预先训练期间最初使用的相同数量的权重上。这意味着在进一步训练期间，模型的存储器需求比如果模型是在更高维度数据上从头训练的情况下少得多。当在GPU上训练时，包括所有层中的所有权重的作为整体的模型必须适合该GPU的视频RAM。要么它适合那里，要么训练仅限于GPU。GPU的价格与视频RAM的量不成比例地增加。

网络本身的适应不依赖于正在处理的数据的性质。然而，在主要使用情况下，数据是由至少一个传感器捕获的物理测量数据，诸如图像。然后，从数据中得出某种结论可能是神经网络的工作。这一结论（诸如图像示出的对象的分类）通常具有比输入数据低得多的维度。

在特别有利的实施例中，处理功能被比例缩放和/或增强的层被选择为被训练成处理维度N的输入数据的神经网络的输入层。该层的处理功能被比例缩放和/或增强以容纳维度M的输入数据。以这种方式，在将较高维度输入数据输入到神经网络之前，不需要对该数据进行预处理，因此不会丢失信息。

在另一个特别有利的实施例中，层的处理功能以其产生的输出数据的维度保持为o的方式来比例缩放和/或增强。以这种方式，所有后续层可以如它们之前做的那样使用该层的输出。

例如，神经网络的层（例如输入层）的处理功能可以被比例缩放和/或增强，使得不是将维度N的输入数据映射为维度o的输出数据，其而是现在将维度M的输入数据映射为维度o的输出数据。

一种调整受影响层的处理功能以容纳更高维度的输入数据同时保持输出数据的维度恒定的方式是对该层的核进行上采样，并且相称地适应该核应用于输入数据的步幅（stride）。

因此，在特别有利的实施例中，层是卷积层或池化层。对层的处理功能的比例缩放和/或增强包括对卷积核或池化窗口的上采样。同时，该卷积核或该池化窗口应用于输入数据所利用的步幅增加了与所述上采样相当的量。

在一个示例性实施例中，预先训练的神经网络的输入层可以被配置成容纳包括A×A像素的图像作为输入数据，其对应于N=A²的维度。该方法然后可以被用于使神经网络适应于处理包括B×B像素的图像，其对应于M=B²维度。卷积或池化核最初可以具有包括F×F像素的感受野。为此，比例缩放因子S可以被确定为S=floor（B/A）。然后，可以将卷积核或池化核上采样到（S*F）×（S*F）像素，并且可以将该核应用于图像数据即沿每个坐标轴跨图像数据所移动的步幅乘以S。在B不能被A除尽的情况下，也可以将图像的大小调整为（A*S）×（A*S）像素。任何合适的方法（诸如线性插值、多项式插值或样条插值）可以用于上采样。

在另一特别有利的实施例中，层是全连接层。对该层的处理功能的比例缩放和/或增强包括对权重向该层中的连接的分配进行上采样，使得相同的权重集表征由适应于维度m>n的输入数据引起的增加的连接量。这是对层的处理功能的"增强"而不是"比例缩放"，因为层实际上获得了额外的神经元。对处理功能进行上采样以使得对更大量的输入数据的处理仍然依赖于原始权重集的通用概念不局限于具有某种核的卷积层或池化层。

在另一特别有利的实施例中，神经网络包括以下各项的组合：

·卷积层，接受维度n的输入数据并提供维度o的输出数据，以及

·池化层，接受维度p≤o的输入数据，并将它们映射为维度r＜o的输出数据。

在此，池化层可以与卷积层直接相邻。在这种情况下，p等于o。但这不是必需的。更确切地说，在卷积层与池化层之间可以存在将维度从值o减少到值p<o的另外的层。

卷积层的处理功能被比例缩放，使得它容纳维度m＞n的输入数据，并提供维度o'＞o的输出数据。池化层的处理功能被比例缩放和/或增强，使得它仍然提供维度r的输出数据。即，卷积层的适应仅桥接新输入维度m与期望维度r之间的维度间隙的部分，卷积层与池化层的组合作为整体将提供所述期望维度r。该间隙的其余部分通过池化层的适应而桥接。

在输入数据是图像的所提到的示例中，如果需要大的比例缩放因子S，则这可以被分解成两个比例缩放因子S1和S2，其中S1*S2=S。S1然后可以用作适应卷积层的比例缩放因子，并且S2可以用作适应池化层的比例缩放因子。例如，如果神经网络是针对包括256×256像素的图像而预先训练的，并且现在它应当处理包括1024×1024像素的图像，则需要比例缩放因子S=4。这可以被分解为用于适应卷积层的S1=2和用于适应池化层的S2=2。

应当注意，为了简单起见，所提到的示例仅假设输入图像是正方形的。该方法也可以正好用于矩形图像。例如，如果网络已经被预先训练成处理包括A1×A2像素并且具有维度N=A1*A2的图像，并且其要适应于处理包括B1×B2像素并且具有维度M=B1*B2的图像，则可以相对于两个坐标轴x和y计算两个不同的比例缩放因子Sx=floor（B1/A1）和Sy=floor（B2/A2）。然后，可以将输入图像比例缩放至（Sx*N1）×（Sy*N2）像素，并且可以将包括F1×F2像素的卷积和/或池化核比例缩放至（Sx*F1）×（Sy*F2）像素。

此外，所提及的示例不应在该方法限于二维图像或者其完全限于图像的意义上来解释。相反，该方法可以应用于其中网络已经被预先训练成处理维度N的输入数据并且要适应于处理维度M的输入数据的任何情况。例如，该方法可以应用于处理像素被布置在三维空间中的图像的神经网络，或者该方法可以应用于处理诸如音频数据或以时间序列的形式存在的其他物理测量数据的不同种类的数据的神经网络。

在另一特别有利的实施例中，该方法还包括在将维度M的输入数据输入到神经网络的输入层中之前将其按比例缩小到维度M'＜M。当在要处理的输入数据的维度M和用来训练神经网络的训练数据的维度N之间存在给定间隙时，按比例缩小输入数据，"理想"解决方案将是从头开始重新训练网络，以便它可以处理维度M的输入数据。与该"理想"解决方案相比，将输入数据按比例缩小产生与将层的处理功能按比例放大和/或增强这样的处理功能以处理更高维度M的输入数据相比更低的平均误差。按比例缩小甚至可以消除一些噪声。但是如已经提到的，存在对比例缩放的限制。如果要检测的特征（诸如产品中的微小缺陷）通过比例缩放而被消除，则较低的平均误差是无用的。因此，最优解决方案是将输入数据按比例缩小到维度M'＜M，其中手头的应用的相关特征在输入数据中仍可清楚辨别。然后，为了处理维度N＜M'的输入数据而预先训练的神经网络可以适应于处理维度M'的输入数据，而不是维度M的输入数据。

本发明还提供一种用神经网络处理维度M的输入数据的方法，该神经网络被训练成处理维度N＜M的输入数据。在该方法的过程中，神经网络适应于使用上述方法处理维度M的输入数据。然后用适应的神经网络处理输入数据。

如上所述，本方法允许更好地再使用已经进入神经网络的训练的预先训练。所产生的输出数据可能不一定是如果神经网络被从头训练以处理维度M的输入数据则将获得的"完美"输出数据。更确切地说，该输出数据将是基于现有训练的"完美"输出数据的合理近似。

如果神经网络是完全卷积网络，则它也可以直接用于处理维度M的输入数据，而不首先被适应。但是即使在这种情况下，首先适应神经网络的优点在于，与使用未适应的网络时相比，推断需要少得多的存储器。

本发明还提供了用于进一步训练神经网络的另一种方法，该神经网络被预先训练成处理维度N的输入数据。在该方法的过程中，神经网络适应于使用上述第一方法处理维度M＞N的输入数据。然后，用维度M的训练数据进一步训练神经网络。

如前所述，主要的使用情况是在已经接收到一般预先训练的神经网络上建立，并且进一步训练该网络以用于作为其被预先训练所针对的任务的特殊情况的任务。以这种方式，可以将大组的可用一般训练数据用于一般预先训练，并且然后，相对小组的专用训练数据可以满足进一步的训练。例如，针对图像中的对象分类的一般任务的一般训练可以使用来自所有各行各业的数万或数十万个图像。此后，几百个专用的训练图像可以足以进一步训练网络，例如以发现产品中的缺陷。也就是说，虽然预先训练包括教导神经网络如何区分狗与猫和椅子的训练示例，但是进一步的训练可以在这一点上建立并且教导网络区分无缺陷产品与有缺陷产品。

神经网络的输出可以例如包括图像关于至少一个感兴趣的属性的分类。在自动化光学检查中，属性可以是某些缺陷的存在或不存在，或者简单地是作为无缺陷或有缺陷的二元分类。在医学图像分析中，属性可以是作为医学状况的指示物的讯号（tell-talesign）。在遥感图像分析（例如，卫星图像分析）中，属性可以为指示地面的某一属性（例如，矿物或水的存在）的特征。在至少部分自动化车辆的控制和/或监视中，属性可以是存在或不存在某些类型的对象，诸如车辆不应与之碰撞的对象。在视频监视中，属性可以是人的存在和/或移动，这将触发如果只有动物和/或植物在图像中移动则不应触发的记录或警报。

因此，在另一有利实施例中，利用经适应的神经网络来处理至少一个输入图像，并且基于分类的结果，致动至少一个自动化光学检查装置、至少一个车辆、至少一个医学成像系统、至少一个遥感成像系统和/或至少一个视频监视系统。

如前所述，卷积层的卷积核的上采样使得表征卷积核的相同的权重集比以前对更多的输入数据起作用。这是"指纹"，其可以在给定的神经网络上指示已经对其应用了上述方法中的一种或多种。因此，本发明还涉及一种神经网络，其包括具有卷积核的至少一个卷积层。卷积核的独立权重的数目小于卷积核的感受野中的独立输入的数目。具体地，例如，卷积核的独立权重的数目可以是卷积核的感受野中的独立输入的数目的至多一半。

本发明可以至少部分地以软件来实现，其具有使得合适的硬件能够执行上述方法中的一种或多种的直接有用影响。因此，本发明还涉及一种具有指令的计算机程序，其在由一个或多个计算机、和/或由控制单元、和/或嵌入式系统执行时使得一个或多个计算机、和/或控制单元、和/或嵌入式系统执行如上所述的方法中的一种或多种。本发明还涉及一种具有该计算机程序的非暂时性机器可读存储介质和/或下载产品。

本发明还涉及一个或多个计算机、控制单元和/或嵌入式系统，其具有如上所述的计算机程序和/或机器可读存储介质和/或下载产品。作为替选或组合，计算机、控制单元和/或嵌入式系统也可以以任何其他方式专门适应于执行如上所述的方法中的一种或多种。这种适应可以例如包括在一个或多个现场可编程门阵列FPGA或专用集成电路ASIC中实现该方法的至少部分。

下文，使用附图说明本方法的进一步有利的实施例，而不具有限制本发明的范围的任何意图。

附图说明

附图示出：

图1示出了处于原始状态的示例性神经网络1（图1a）；通过应用方法100的示例性实施例而产生的经适应的神经网络1'（图1b）；

图2示出了用于适应神经网络1的方法100、用于处理输入数据1a的方法200和用于进一步训练神经网络1的方法300的示例性实施例；

图3示出了方法100对神经网络1中的层11的卷积核11d或池化核1e的影响；

图4示出了比例缩放对检测部件9中的缺陷9a的潜在有害影响，其通过方法100、200、300得以避免。

具体实施方式

图1a示出了神经网络1的简单示例。神经网络1仅包括两层，即，卷积层11和池化层12。作为整体的网络1容纳维度N的输入数据1a，并提供维度r的输出数据1c。

为此，将作为整体的网络1的输入数据1a供应到卷积层11作为输入数据11a。在这个示例中，数据11a的维度n等于数据1a的维度N；然而，这不是强制性的。更确切地说，在卷积层11之前可能存在预处理，其已经将输入数据11a的维度n减少到小于N的值。

卷积层11将维度n的输入数据11a映射为维度o的输出数据11c。该映射由卷积层11中的权重集11b表征。卷积层11的输出数据11c作为输入数据12a被供应到池化层12。池化层12产生具有维度r的压缩的输出数据12c。这也是作为整体的神经网络1的输出数据1c。

图1b示出了当应用方法100的示例性实施例时得到的经适应的网络1'。对卷积层11的处理功能进行比例缩放，使得卷积层11a现在接受在该示例中远大于N的维度m=M的输入。卷积层的输出数据11c具有大于先前值o的新维度o'。因此，也对池化层12的处理功能进行比例缩放，使得其将较高维度o'的输入数据12a变换为仍具有与之前相同的维度r的输出数据12c。最终结果是，作为整体的经适应的神经网络1'现在容纳高得多的维度M的输入数据1a，但是仍然提供与原始神经网络1之前提供的相同维度r的输出数据1c。

图2组合了用于适应神经网络1的方法100、用于处理输入数据1a的方法200以及用于进一步训练神经网络1的方法300的实施例以便更好理解。在方法100（其作为整体形成方法200的第一步骤210以及方法300的第一步骤310）中，在步骤110中比例缩放和/或增强神经网络1的至少一个层11的处理功能。在图2所示的示例中，在步骤120中，也比例缩放更下游的池化层12的处理功能。以此方式，当神经网络1适应于容纳维度M（而不是N，如先前那样）的输入数据1a时，工作的部分在卷积层11中完成，并且工作的部分在池化层12中完成。

可选地，在步骤105中，维度M的输入数据1a可以被比例缩小到维度M'，其中N＜M'＜M。如前所述，这改进了最终获得的结果的准确性。

在步骤110内，根据框111对卷积层11的卷积核11d进行上采样。根据框112，该卷积核11d应用于输入数据11a所利用的步幅被比例缩放与所述上采样相当的量。

如果层11是全连接层而不是卷积层，则根据框113，对权重11b向层11中的连接的分配进行上采样，使得相同的权重集11b表征由于适应于维度m>n的输入数据11a而引起的增加的连接量。

在步骤120之后，得到经适应的神经网络1'，并且方法100结束。现在，可以在方法200和300中使用经适应的神经网络1'。

在方法200的步骤220中，经适应的神经网络1'可以直接用于推断，即，以将输入数据1a转换为输出数据1c。

在方法300的步骤320中，经适应的神经网络1'可以使用其已经适应于的更高维度M的训练数据来进一步训练。根据框321，可以针对作为神经网络1被预先训练所针对的任务的特殊情况的任务而执行该进一步训练。在进一步训练320之后，经适应的神经网络1'可以再次用于推断。即，其可以用于将维度M的输入数据1a映射为输出数据1c。

根据步骤420，基于输出数据1c（在该示例中，其是由经适应的神经网络1'执行的分类的结果），可以致动至少一个自动化光学检查装置2、至少一个车辆3、至少一个医学成像系统4、至少一个遥感成像系统5和/或至少一个视频监视系统6。

图3详述了在方法100的过程中如何修改卷积核11d、池化核11e及其相应的步幅、以及相应修改所具有的影响。

在图3的左手侧，示出了其中层11接受旧维度n的输入数据11的层11的状态。卷积核11d具有3×3像素的感受野，并且其以2像素的步幅沿坐标轴x和y移动。在由层11产生的输出数据11c中，对于卷积核11d的感受野的每个可能位置，记录输入数据11a的像素值与卷积核11d中的权重11b的卷积（在感受野中示为不同的阴影）。

同样地，池化窗口11e的感受野内的像素值被池化，并且在与池化窗口11e的感受野的位置对应的位置中在输出数据11c中记录结果。

卷积核11d和池化窗口11e之间的边界是模糊的。例如，具有全部相等的权重11b的卷积核11d类似于平均池化窗口11e而工作。因此，卷积核11d的情况和池化窗口11e的情况两者都在一个图3中绘制，而不是针对这两种情况绘制两个单独的图。

图3的右手侧示出了卷积核11d或池化窗口11e的上采样111的影响。层11的输入数据11a现在具有较高维度m；相同的面积被分成更多的图像像素。沿着每个坐标轴，卷积核11d或池化窗口11e的大小从3像素加倍为6像素。此外，步幅从2像素加倍为4像素。然而，卷积核11d仍然依赖于相同的权重集11b。也就是说，九个不同权重11b中的每一个现在被应用于输入数据11a的四个像素，而不是仅一个像素。

最终结果是，在卷积层的情况下表示层11的"特征图"的该层11的输出数据11c仍然具有相同的维度o，尽管输入数据11a具有高得多的维度m。

图4在一个示意性示例上示出了方法100、200、300的益处。图4a示出了其中具有小缺陷9a的机器部件9的高分辨率图像。在该高分辨率图像中，缺陷9a是清晰可见的。

图4b示出了该图像的低分辨率版本，其可以是通过将高分辨率图像按比例缩小以便适合神经网络1被预先训练所采用的分辨率而产生的。在该低分辨率版本中，缺陷9a几乎不明显，并且在图像处理的离散化中可能容易完全丢失。如果这种情况发生，自动化光学检查系统就无法知道存在缺陷。

这说明了仅按比例缩小至仍然可以清楚地辨别比如缺陷9a的重要特征的程度并且增加神经网络1可以容纳的输入数据1a的维度使得至少可以处理该最小分辨率的图像的优点。

Claims (16)

1.一种用于使被预先训练成处理维度N的输入数据的神经网络（1）适应于处理维度M的输入数据（1a）的方法（100），其中M＞N，所述方法（100）包括：针对接受维度n的输入数据（11a）并且利用由权重集（11b）表征的处理功能将这些输入数据（11a）映射为维度o的输出数据（11c）的神经网络（1）的至少一个层（11），对处理功能进行比例缩放和/或增强（110），使得其容纳维度m>n的输入数据（11a）而保持由相同的权重集（11b）表征。

2.根据权利要求1所述的方法（100），其中所述层（11）被选择为被训练成处理维度N的输入数据（11a）的所述神经网络（1）的输入层，并且该层（11）的处理功能被比例缩放和/或增强以容纳维度M的输入数据（11a）。

3.根据权利要求1至2中任一项所述的方法（100），其中，层（11）的处理功能以其产生的输出数据（11c）的维度保持为o的方式被比例缩放和/或增强。

4.根据权利要求3所述的方法（100），其中，层（11）是卷积层或池化层，并且对该层（11）的处理功能的比例缩放和/或增强（110）包括：对该层（11）的卷积核（11d）或池化窗口（11e）的上采样（111）；以及使该卷积核（11d）或该池化窗口（1e）应用于输入数据（11a）所利用的步幅增加（112）与所述上采样相当的量。

5.根据权利要求1至4中任一项所述的方法（100），其中，层（11）是全连接层，并且对该层（11）的处理功能的比例缩放和/或增强（110）包括：对所述权重（11b）向所述层（11）中的连接的分配进行上采样（113），使得相同的权重集（11b）表征由适应于维度m>n的输入数据（11a）所引起的增加的连接量。

6.根据权利要求1至5中任一项所述的方法（100），其中，所述神经网络（1）包括卷积层（11）和池化层（12），所述卷积层接受维度n的输入数据（11a）并提供维度o的输出数据（11c），所述池化层接受维度p≤o的输入数据（12a）并将它们映射为维度r＜o的输出数据（12c），并且所述方法（100）包括：

·对卷积层（11）的处理功能进行比例缩放和/或增强（110），使得其容纳维度m>n的输入数据（11a）并且提供维度o'的输出数据（11c），其中o'>o；

·对池化层（12）的处理功能进行比例缩放和/或增强（120），使得其仍然提供维度r的输出数据（12c）。

7.根据权利要求1至6中任一项所述的方法（100），还包括：在将维度M的输入数据（1a）输入到所述神经网络（1）的输入层中之前，将其按比例缩小（105）为维度M'＜M。

8.一种用于利用被训练成处理维度N＜M的输入数据（1a）的神经网络（1）来处理维度M的输入数据（1a）的方法（200），包括以下步骤：

·使用权利要求1至7中任一项所述的方法（100）来使神经网络（1）适应（210）于处理维度M的输入数据（1a）；以及

·利用经适应的神经网络（1'）来处理（220）输入数据（1a）。

9.一种用于进一步训练被预先训练成处理维度N的输入数据（1a）的神经网络（1）的方法（300），包括以下步骤：

·使用权利要求1至7中任一项所述的方法（100）来使神经网络（1）适应（310）于处理维度M的输入数据；以及

·利用维度M的训练数据进一步训练（320）经适应的神经网络（1'）。

10.根据权利要求9所述的方法（300），其中，针对作为所述神经网络（1）被预先训练所针对的任务的特殊情况的任务而执行（321）进一步训练（320）。

11.根据权利要求1至10中任一项所述的方法（100、200、300），其中，所述神经网络（1）的所述输入数据（1a）包括图像，并且所述神经网络（1）的所述输出数据（1c）包括所述图像关于至少一个属性的分类。

12.根据权利要求11所述的方法（100、200、300），还包括：利用经适应的神经网络（1'）来处理（220、410）至少一个输入图像（1a）；以及基于分类的结果（1c）而致动（420）至少一个自动化光学检查装置（2）、至少一个车辆（3）、至少一个医学成像系统（4）、至少一个遥感成像系统（5）和/或至少一个视频监视系统（6）。

13.一种神经网络（1），包括具有卷积核（11d）的至少一个卷积层（11），其中卷积核（11d）的独立权重的数目小于卷积核（11d）的感受野中的独立输入的数目。

14.一种计算机程序，包括指令，所述指令在由一个或多个计算机和/或由控制单元和/或嵌入式系统执行时使得所述一个或多个计算机和/或所述控制单元和/或所述嵌入式系统执行根据权利要求1至12中任一项所述的方法（100、200、300）。

15.一种非暂时性机器可读存储介质和/或下载产品，具有根据权利要求14所述的计算机程序。

16.一个或多个计算机、控制单元和/或嵌入式系统，其具有根据权利要求14所述的计算机程序、具有根据权利要求15所述的非暂时性机器可读存储介质、和/或具体地以另一方式适于执行根据权利要求1至12中任一项所述的方法（100、200、300）。

Images