CN117196001A - 用于训练神经网络的方法和设备 - Google Patents
用于训练神经网络的方法和设备 Download PDFInfo
- Publication number
- CN117196001A CN117196001A CN202310673649.9A CN202310673649A CN117196001A CN 117196001 A CN117196001 A CN 117196001A CN 202310673649 A CN202310673649 A CN 202310673649A CN 117196001 A CN117196001 A CN 117196001A
- Authority
- CN
- China
- Prior art keywords
- neural network
- output signal
- training
- signal
- technical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101150096839 Fcmr gene Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000009187 flying Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Robotics (AREA)
- Feedback Control In General (AREA)
Abstract
用于训练神经网络的方法和设备。用于训练第一神经网络(60)的方法，其中神经网络(61)被构造用于基于技术系统(100、200)的传感器信号(S)确定输出信号，所述输出信号表征关于传感器信号(S)的分类和/或回归结果，其中用于训练的方法包括以下步骤：a.在运行技术系统期间，接收技术系统的传感器信号(S)；b.借助于第一神经网络(61)并且基于传感器信号(S)确定第一输出信号(y1)；c.借助于第二神经网络(62)并且基于传感器信号(S)确定第二输出信号(y2)，其中第二神经网络(62)具有与第一神经网络(61)不同的架构；d.通过适配第一神经网络(61)的参数(Φ1)来训练第一神经网络(61)，其中第一神经网络(61)根据第二输出信号(y2)被训练。
Description
技术领域
本发明涉及一种用于训练神经网络的方法、训练设备、计算机程序和机器可读存储介质。
背景技术
发明优点
尤其是安全关键技术系统中的机器学习系统、尤其是神经网络的开发引出严格的测试策略，以便保证由机器学习系统作出的决策在运行中不带来不期望的和/或危险的后果。
由于机器学习系统基于数据确定其决策，因此已知方法依赖于首先借助于对应技术系统的耗费测试测量(英语：test runs或validation runs(测试运行或验证运行))收集数据，数据于是随后例如必须从技术系统被传送给外部计算中心，在所述外部计算中心中于是可以分析和/或适配机器学习系统的行为。
该行动引起上面描述的神经网络的缓慢开发周期，并且此外引起必须传输巨大量数据。
值得期望的是，至少改善两个限制，即能够实现机器学习系统的更快的开发周期并且在此减少所传输的数据的量。
具有独立权利要求1的特征的方法的优点是可以训练神经网络，使得能够实现更快的开发周期以及减少所传输的数据的量。
发明内容
在第一方面中，本发明涉及一种用于训练第一神经网络的方法，其中所述神经网络被构造用于基于技术系统的传感器信号确定输出信号，所述输出信号表征关于所述传感器信号的分类和/或回归结果，其中用于训练的方法包括以下步骤：
a.在运行所述技术系统期间，接收所述技术系统的传感器信号；
b.借助于所述第一神经网络并且基于所述传感器信号确定第一输出信号；
c.借助于第二神经网络并且基于所述传感器信号确定第二输出信号，其中所述第二神经网络具有与所述第一神经网络不同的架构；
d.通过适配所述第一神经网络的参数来训练所述第一神经网络，其中所述第一神经网络根据第二输出信号被训练。
该方法的步骤尤其是可以全部由计算机实施，也即该方法尤其是可以是计算机实现的方法。
该方法可以被理解为在运行技术系统期间使用第二神经网络，以便控制技术系统的行为，例如其方式是第二神经网络基于由技术系统确定的传感器信号确定输出信号，所述输出信号表征应该由技术系统执行的动作。与第二神经网络并行地，第一神经网络同样可以确定输出信号，然后可以将所述输出信号与第二神经网络的输出信号进行比较。
传感器信号可以被理解为第一神经网络或第二神经网络的输入。借助于神经网络基于传感器信号确定输出信号尤其是可以被理解为使得神经网络接受传感器信号作为输入、处理传感器信号并且通过处理确定输出信号，所述输出信号从神经网络被输出。
传感器信号尤其是可以被理解为传感器的信号，例如光学传感器、诸如摄像机、激光雷达传感器或热像仪，以及雷达传感器、超声波传感器或压电传感器。一般而言，可以对于可以向该方法提供传感器信号的任何传感器使用该方法。
第一神经网络的输出信号和/或第二神经网络的输出信号可以尤其是表征传感器信号的分类。可替代地或附加地也可能的是，第一神经网络的输出信号和/或第二神经网络的输出信号表征关于传感器信号的回归结果(即实数值或实数值向量)。例如，输出信号还可以表征对象探测和/或语义分割。
第二神经网络尤其是可以被理解为已经例如通过与上面描述的方法不同的开发和/或测试策略被释放用于在安全关键技术系统中使用的神经网络。借助于上面描述的，现在可以在第一神经网络对应于或至少类似于第二神经网络的行为的方面对所述第一神经网络进行检查和适应。在此情况下，作为行为尤其是可以理解为当神经网络作为输入获得特定的传感器信号时所述神经网络确定哪个输出信号。
作为该方法的目的可以理解为第一神经网络应该被适配，而在此不干预技术系统的运行。因此，在安全关键技术系统的情况下，可以有利地开发和/或测试第一神经网络，而不以潜在安全关键的方式对技术系统进行干预。
例如可能的是，如果第二输出信号与第一输出信号的距离达到或超过预定义的阈值，则可以适配第一神经网络的参数。这种适配不必强制性地由技术系统的计算单元执行，而是也可以在技术系统之外的计算单元上被执行。
在此背景下，在该方法的优选实施方式中尤其是可能的是，第一神经网络和第二神经网络的架构方面的差异引起第一神经网络需要较少的计算能力和/或较少的存储用于确定第一输出信号。
发明人可能确定出该实施方式的优点是以下优点，即第一神经网络可以在计算能力和存储消耗方面被优化，其中能够相对于第二神经网络获得第一神经网络的性能。在此情况下，作为性能可以理解为神经网络的以下能力，即神经网络利用所述能力能够基于传感器信号确定期望的输出信号。这也可以被理解为神经网络的泛化能力。
如果至少方法步骤a.至c.在嵌入式计算架构上被实施，则该方法尤其是具有优势。与传统计算机相比，嵌入式计算架构的典型特征是大大降低的计算能力和/或大大减少的存储。例如可设想的是，技术系统是至少部分自动化的车辆或借助于第二神经网络控制的机器人。在这些情况下，第一神经网络可以在技术系统的计算单元中与第二神经网络并行地被运行。
尤其是，神经网络的模型选择可以被理解为神经网络的架构。模型选择尤其是表征神经网络的输入应该具有哪种形式，神经网络的输入信号以何种序列以及在层的哪种连接(例如前馈或递归)下遍历哪些层(尤其是哪种类型的层)以及神经网络的输出信号是如何组成的。神经网络的架构可以被理解为所述架构明显地影响用于计算输出信号的计算能力和/或存储需求。
在该方法的优选实施方式中，还可能的是，第一神经网络的至少一个层在其参数化方面对应于第二神经网络的层，并且第一神经网络的层的参数在训练期间不被适配。
参数化不仅可以被理解为层的超参数而且可以被理解为层的权重。因此，这种表现形式可以被理解为第二神经网络的至少一个层与第一神经网络的层相同。在此情况下，层不仅从超参数而且从权重来看是相同的。这也可以被理解为在第一神经网络和第二神经网络之间共享至少一个层。例如，也可想象的是，在第一神经网络和第二神经网络之间共享层的整个部分片段(也称为神经网络的分网络或神经网络的子网络)。例如，第一神经网络可以通过改变神经网络的多个最后的层、例如最后三层表征第二神经网络的改善。
该方法的这种表现形式的优点是，在训练期间由于要适配的层的小数量而对计算能力和/或存储的需求大大降低。由此甚至使得能够可以在嵌入式计算架构上实施该方法的步骤d.，这是因为以这种方式可以非常强烈地最小化对计算能力和/或存储的要求。
通常可能的是该方法的步骤d.也由实施步骤a.至c.的计算机、即优选地是技术系统的一部分的计算机实施。
在该方法的其他表现形式中也可能的是，步骤d.由技术系统之外的计算机实施。
这可以被理解为技术系统例如借助于如移动无线电之类的例如无线传输介质将第一输出信号和第二输出信号之间的偏差转发给外部计算机，在该外部计算机上于是可以分析输出信号，并且可以在某些情况下适配第一神经网络。
尤其是可以规定，如果由第一和/或第二输出信号满足准则，则将第一输出信号和/或第二输出信号转发给技术系统之外的计算机。该准则例如可以预先给定，仅当第一输出信号和/或第二输出信号彼此偏离超过预定义的阈值，才将所述第一输出信号和/或第二输出信号传送给技术系统之外的计算机。
尤其是，在该方法中此外可以规定，基于第二输出信号来确定技术系统的操控信号。
换句话说，可以决定性地使用第二输出信号来确定技术系统的动作。操控信号例如可以被使用来控制技术系统的执行器，其中执行器引起技术系统的动作。
附图说明
下面参考所附附图更详细地阐述本发明的实施方式。在附图中：
图1示意性地示出用于操控执行器的控制系统的结构；
图2示出控制系统的片段；
图3示意性地示出用于控制至少部分自主的机器人的实施例；
图4示意性地示出用于控制生产系统的实施例；
图5示意性地示出训练系统。
具体实施方式
图1示出在其环境(20)中与控制系统(40)交互的执行器(10)。以优选地规则的时间间隔，在传感器(30)、例如如摄像机传感器之类的光学传感器中检测环境(20)，所述传感器也可以由多个传感器、例如立体摄像机给出。传感器(30)的传感器信号(S)——或者在多个传感器的情况下每一个传感器信号(S)——被传送给控制系统(40)。控制系统(40)因此接收传感器信号(S)的序列。控制系统(40)从中确定操控信号(A)，所述操控信号被传输给执行器(10)。
控制系统(40)在可选的接收单元(50)中接收传感器(30)的传感器信号(S)的序列，所述接收单元将传感器信号(S)的序列转换成输入信号(x)的序列(可替代地，传感器信号(S)分别也可以直接作为输入信号(x)被接管)。例如，输入信号(x)可以是传感器信号(S)的片段或进一步处理。换句话说，根据传感器信号(S)确定输入信号(x)。输入信号(x)的序列被输送给第一神经网络(61)。此外，输入信号(x)的序列被输送给第二神经网络(62)。
第一神经网络(61)和第二神经网络(62)优选地通过保存在参数存储器(P)中并由所述参数存储器提供的参数(Φ1，Φ2)被参数化。神经网络(61、62)在其架构上不同，优选地在神经元和/或层的数量和/或层或神经元的连接上不同。该差异优选地引起，第一神经网络(61)需要相对于第二神经网络(62)更少的计算能力和/或存储能力来基于输入信号(x)确定输出。
第二神经元(62)从输入信号(x)中确定第二输出信号(y2)。第二输出信号(y2)被输送给可选的变换单元(80)，所述变换单元从中确定操控信号(A)，所述操控信号被输送给执行器(10)，以便相应地操控执行器(10)。
执行器(10)接收操控信号(A)，相应地被操控并且执行对应的动作。执行器(10)可以包括(不一定在结构上集成的)操控逻辑，所述操控逻辑从操控信号(A)中确定第二操控信号，然后利用所述第二操控信号操控执行器(10)。
此外，第一神经网络(61)从输入信号(x)中确定第一输出信号(y1)。第一输出信号(y1)和第二输出信号(y2)优选地与输入信号(x)一起被提供给比较单元(70)。比较单元(70)可以优选地被构造用于确定第一输出信号(y1)和第二输出信号(y2)之间的差异。例如，可以借助于度量、例如欧几里德距离或者也可以借助于相似性量度、例如余弦距离来确定差异。可能的是，借助于可选的传输(o)、例如无线传输(o)基于例如5G或6G将所确定的差异传输给另一计算机，其中能够在另一计算机上检查差异。例如，可以检查在控制系统运行时间上的典型差值，以便从而关于第一神经网络(61)是否确定与第二神经网络(62)相比相同或至少相似的输出信号作出陈述。然而优选地规定，除了两个输出信号(y1，y2)之外，输入信号(x)也作为传输(o)的一部分一起被传输。如果第一神经网络(61)已经被训练，则另一计算机可以例如训练或进一步训练第一神经网络(61)。为了训练，可以选择第二输出信号(y2)作为期望的输出信号，并且第一神经网络(61)可以被训练为使得所述第一神经网络关于输入信号(x)确定对应于或尽可能相似于第二输出信号(y2)的输出信号。优选地，仅当差值超过预定义的阈值时，才可以进行传输(o)。
然而，也可能的是，不进行传输(o)，而是比较单元(70)基于差异和输入信号(x)例如借助于梯度下降法适配第一神经网络(61)。
该差异还可以优选地表征损失函数(英语：loss function)的损失值(英语：lossvalue)，其中损失函数基于第一输出信号(y1)和第二输出信号(y2)确定损失值。例如，损失函数可以是平方欧几里德损失函数(英语：squared Euclidean loss(平方欧几里德损失)或者mean squared error loss(均方误差损失))。
在其他实施方式中，控制系统(40)包括传感器(30)。在又其他实施方式中，控制系统(40)可替代地或附加地还包括执行器(10)。
在其他优选实施方式中，控制系统(40)包括至少一个处理器(45)和至少一个机器可读存储介质(46)，指令存储在所述机器可读存储介质(46)上，如果所述指令在至少一个处理器(45)上被执行，则所述指令促使控制系统(40)实施根据本发明的方法。
在替代实施方式中，替代于或附加于执行器(10)设置显示单元(10a)。
图2示出关于第一神经网络(61)和第二神经网络(62)的控制系统的片段。相应的网络包括神经元(N)，相应的网络基于所述神经元关于输入信号(x)确定其输出信号(y1，y2)。神经网络(61、62)的神经元(N)优选地分别布置在层(611、612、613、614、621、622、623、624、625)中。第二神经网络(62)包括更多的神经元和神经元(N)之间的更多连接，用于确定第二输出信号(y2)，这导致与第一神经网络(61)相比提高的存储需求和提高的计算能力，所述第一神经网络拥有较少的神经元(N)和神经元(N)之间的较少的连接。
优选地，在实施例中也可能的是，第一神经网络(61)基于第二神经网络(62)的层(622)的输出来确定第一输出信号(y1)。尤其是如果第一神经网络(61)和第二神经网络(62)的架构的部分相同，例如包括相同参数化的层和相同的参数值，则这可能发生。在实施例中，这对于第一神经网络(61)的前两个层(611、612)或者对于第二神经网络的前两个层(621、622)情况如此。因此，优选地，第二神经网络(62)的第二层(622)的输出可以直接被用作第一神经网络(61)的第三层(613)的输入。在该图中，这通过缩写(SC)表示。在这种情况下，第一神经网络(61)不必须通过前两个层(611、612)传导输入信号(x)，因为第二层(612)的所确定的输出对应于第二神经网络(62)的第二层(622)的输出，这是因为前两个层(611、612、621、622)在该实施例中是相同的。从而可以节省本来将会已经提供相同结果的算术运算。
在第一神经网络(61)中因此“跳过”的层(611、612)尤其是在训练第一神经网络(61)期间可以被忽略，即其参数不能被适配。可替代地，也可能的是，从第二神经网络(62)的前两个层(621、622)中复制梯度以训练第一神经网络(61)的前两个层(611、612)。训练的这些表现形式也可以被应用于其他架构并且不限于来自图2的具体实施例。
图3示出可以如何使用控制系统(40)来控制至少部分自主的机器人、在这里至少部分自主的机动车(100)。
传感器(30)可以例如是优选地布置在机动车(100)中的视频传感器。
第二神经网络(62)被设立用于在输入图像(x)上标识可识别的对象，即执行对象探测。
优选地布置在机动车(100)中的执行器(10)可以例如是机动车(100)的制动器、驱动装置或转向装置。于是操控信号(A)可以被确定为使得一个执行器或多个执行器(10)被操控为使得机动车(100)例如防止与由第二神经网络(62)标识的对象碰撞，尤其是当是特定类别的对象，例如是行人的话。
可替代地或附加地，可以利用操控信号(A)操控显示单元(10a)并且例如表示所标识的对象。例如，也可设想的是，显示单元(10a)利用操控信号(A)被操控为使得当确定出机动车(10)即将发生与所标识的对象之一碰撞时，所述显示单元输出光学或声学警告信号。
可替代地，至少部分自主的机器人也可以是其他移动机器人(未绘出)，例如是通过飞行、游泳、潜水或行进来向前移动的这样的机器人。移动机器人也可以例如是至少部分自主的割草机或至少部分自主的清洁机器人。即使在这些情况下，操控信号(A)也可以被确定为使得移动机器人的驱动装置和/或转向装置被操控为使得至少部分自主的机器人例如防止与由第二神经网络(62)标识的对象碰撞。
图4示出一种实施例，其中使用控制系统(40)来操控生产系统(200)的生产机器(11)，其方式是对控制所述生产机器(11)的执行器(10)进行操控。生产机器(11)可以例如是用于冲压、锯切、钻孔和/或切割的机器。此外可设想的是，生产机器(11)被构造用于借助于夹持器夹持生产产品(12a、12b)。
传感器(30)于是可以例如是视频传感器，所述视频传感器例如检测传送带(13)的传送面，其中例如生产产品(12a、12b)可以位于传送带(13)上。第二神经网络(62)例如可以被设立用于确定生产产品(12a、12b)在传送带上的位置。控制生产机器(11)的执行器(10)于是可以根据生产产品(12a、12b)的所确定的位置被操控。例如，执行器(10)可以被操控为使得所述执行器在生产产品(12a、12b)的预定点处对生产产品(12a，12b)进行冲压、锯切、钻孔和/或切割。
此外可设想的是，第二神经网络(62)被构造用于替代于或附加于位置还确定生产产品(12a、12b)的其他特性。尤其是，可想象的是，第二神经网络(62)确定生产产品(12a、12b)是否是有缺陷的和/或损坏的。在这种情况下，执行器(10)可以被操控为使得生产机器(11)分拣出有缺陷和/或损坏的生产产品(12a、12b)。
图5示出用于借助于训练数据集(T)训练第一神经网络(61)的训练系统(140)的实施例。训练数据集(T)包括用于训练第一神经网络(61)所使用的多个输入信号(xi)，其中训练数据集(T)此外分别对于输入信号(xi)包括期望的输出信号(ti)，所述输出信号与输入信号(xi)相对应。
为了训练，训练数据单元(150)访问计算机实现的数据库(St2)。数据库(St2)分别包含已由控制系统(40)传送的传输(o)。基于传输(o)，训练数据单元(150)调用训练数据集(T)，其中针对输入信号(xi)提供第二输出信号作为期望的输出(ti)。训练数据集(T)优选地包括由控制系统(40)已传输的所有传输(o)。
训练数据单元(150)从训练数据集(T)中优选地随机地确定至少一个输入信号(xi)和对应于输入信号(xi)的期望的输出信号(ti)，并且将输入信号(xi)传送给第一神经网络(61)。第一神经网络(61)基于输入信号(xi)确定输出信号(yi)。
期望的输出信号(ti)和所确定的输出信号(yi)被传送给改变单元(180)。
然后由改变单元(180)基于期望的输出信号(ti)和所确定的输出信号(yi)为第一神经网络(61)确定新的参数(Φ′)。为此，改变单元(180)借助于损失函数(英语：LossFunction)将期望的输出信号(ti)和所确定的输出信号(yi)进行比较。损失函数确定第一损失值，所述第一损失值表征所确定的输出信号(yi)偏离期望的输出信号(ti)有多远。在该实施例中，选择负对数似然函数(英语：negative log-likehood function)作为损失函数。在替代实施例中也可以设想其他损失函数。
此外，可想象的是，所确定的输出信号(yi)和期望的输出信号(ti)分别包括多个子信号，例如以张量的形式，其中期望的输出信号(ti)的子信号分别与所确定的输出信号(yi)的子信号相对应。例如，可想象的是，第一神经网络(61)被构造用于进行对象探测并且第一子信号分别关于输入信号(xi)的一部分表征对象的出现概率，并且第二子信号表征对象的精确位置。对于所确定的输出信号(yi)和期望的输出信号(ti)包括多个相对应的子信号的情况，优选地借助于合适的损失函数为分别相对应的子信号确定第二损失值并且所确定的第二损失值适当地被聚集成第一损失值，例如通过加权和。
改变单元(180)基于第一损失值确定新的参数(Φ′)。在该实施例中，这借助于梯度下降法进行，优选地借助于随机梯度下降法、Adam或AdamW进行。在其他实施例中，训练也可以基于进化算法或二阶优化(英语：second-order optimization)。
所确定的新参数(Φ′)被存储在模型参数存储器(St1)中。所确定的新参数(Φ′)优选地作为参数(Φ1)被提供给第一神经网络(61)。
在其他优选实施例中，迭代地对于预定义数量的迭代步骤重复或迭代地重复所描述的训练，直至第一损失值不超过预定义的阈值。可替代地或附加地，还可想象的是，当关于测试或验证数据集的平均第一损失值不超过预定义的阈值时，训练被终止。在迭代中的至少一次迭代中，将在先前迭代中确定的新参数(Φ′)用作第一神经网络(61)的参数(Φ1)。
此外，训练系统(140)可以包括至少一个处理器(145)和至少一个机器可读存储介质(146)，所述机器可读存储介质包含指令，当通过处理器(145)执行所述指令时，所述指令促使训练系统(140)实施根据本发明的方面之一的训练方法。
训练系统(140)优选地与控制系统(40)在物理上分离。例如，两个系统都包括分离的计算机，以便执行相应的流程步骤。训练系统(140)和控制系统(40)例如可以经由网络连接、诸如LAN或因特网相互通信。移动和/或无线传输路径在该方法中同样是可能的。
术语“计算机”包括用于执行可预先给定的计算规则的任意设备。这些计算规则可以以软件的形式存在，或者可以以硬件的形式或者甚至可以以由软件和硬件组成的混合形式存在。
一般来说，多个可以被理解为带索引的，即给多个中的每个元素分派唯一的索引，优选地通过给多个中包含的元素分派相继的整数来进行。优选地，当多个包括N个元素时，其中N是多个中的元素的数量，从1至N的整数被分派给元素。
Claims (12)
1.一种用于训练第一神经网络(60)的方法，其中所述神经网络(61)被构造为基于技术系统(100、200)的传感器信号(S)确定输出信号，所述输出信号表征关于所述传感器信号(S)的分类和/或回归结果，其中用于训练的方法包括以下步骤：
a.在运行所述技术系统期间，接收所述技术系统的传感器信号(S)；
b.借助于所述第一神经网络(61)并且基于所述传感器信号(S)确定第一输出信号(y1)；
c.借助于第二神经网络(62)并且基于所述传感器信号(S)确定第二输出信号(y2)，其中所述第二神经网络(62)具有与所述第一神经网络(61)不同的架构；
d.通过适配所述第一神经网络(61)的参数(Φ1)来训练所述第一神经网络(61)，其中所述第一神经网络(61)根据第二输出信号(y2)被训练。
2.根据权利要求1所述的方法，其中基于所述第一输出信号(y1)与所述第二输出信号(y2)的差异来确定所述适配。
3.根据权利要求1或2所述的方法，其中所述第一神经网络(61)和所述第二神经网络(62)的架构方面的差异引起所述第一神经网络(61)需要较少的计算能力和/或较少的存储来用于确定所述第一输出信号(y1)。
4.根据权利要求1至3中任一项所述的方法，其中所述第一神经网络(61)的至少一个层在其参数化方面对应于所述第二神经网络(62)的层，并且所述第一神经网络(61)的层的参数在训练期间不被适配。
5.根据权利要求1至4中任一项所述的方法，其中步骤b.和c.由所述技术系统的嵌入式计算单元(45)实施。
6.根据权利要求5所述的方法，其中步骤d.由所述技术系统之外的计算机实施。
7.根据权利要求1至6中任一项所述的方法，其中基于所述第二输出信号(y2)确定所述技术系统(100、200)的操控信号(A)。
8.根据权利要求1至7中任一项所述的方法，其中所述传感器信号(S)由摄像机传感器(30)提供并且表征图像。
9.根据权利要求1至8中任一项所述的方法，其中所述技术系统(100)是至少部分自动化的车辆(100)或是机器人(200)。
10.一种训练设备(140)，所述训练设备被设立用于实施根据权利要求1至9中任一项所述的方法。
11.一种计算机程序，所述计算机程序被设立用于当通过处理器(45、145)执行所述计算机程序时实施根据权利要求1至9中任一项所述的方法。
12.一种机器可读存储介质(46、146)，其上存储有根据权利要求11所述的计算机程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022205824.0 | 2022-06-08 | ||
| DE102022205824.0A DE102022205824A1 (de) | 2022-06-08 | 2022-06-08 | Verfahren und Vorrichtung zum Trainieren eines neuronalen Netzes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117196001A true CN117196001A (zh) | 2023-12-08 |
Family
ID=88874264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310673649.9A Pending CN117196001A (zh) | 2022-06-08 | 2023-06-07 | 用于训练神经网络的方法和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230401836A1 (zh) |
| JP (1) | JP2023180242A (zh) |
| KR (1) | KR20230168966A (zh) |
| CN (1) | CN117196001A (zh) |
| DE (1) | DE102022205824A1 (zh) |
-
2022
- 2022-06-08 DE DE102022205824.0A patent/DE102022205824A1/de active Pending
-
2023
- 2023-06-02 KR KR1020230071242A patent/KR20230168966A/ko unknown
- 2023-06-07 US US18/330,857 patent/US20230401836A1/en active Pending
- 2023-06-07 JP JP2023093762A patent/JP2023180242A/ja active Pending
- 2023-06-07 CN CN202310673649.9A patent/CN117196001A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023180242A (ja) | 2023-12-20 |
| KR20230168966A (ko) | 2023-12-15 |
| US20230401836A1 (en) | 2023-12-14 |
| DE102022205824A1 (de) | 2023-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20190118387A (ko) | 합성곱 신경망 기반 이미지 처리 시스템 및 방법 | |
| CN108973674B (zh) | 误操作判定装置 | |
| CN113825978B (zh) | 用于定义路径的方法和设备、存储装置 | |
| JP7099968B2 (ja) | 演算装置 | |
| US20220051138A1 (en) | Method and device for transfer learning between modified tasks | |
| CN114386614A (zh) | 用于训练机器学习系统的方法和装置 | |
| US20230326191A1 (en) | Method and Apparatus for Enhancing Performance of Machine Learning Classification Task | |
| CN114556383A (zh) | 模型生成装置、推定装置、模型生成方法以及模型生成程序 | |
| CN111967567A (zh) | 具有求解半定规划的层的神经网络 | |
| JP7493380B2 (ja) | 機械学習システム、並びに、機械学習システムを構成する方法、コンピュータプログラム及び装置 | |
| CN117196001A (zh) | 用于训练神经网络的方法和设备 | |
| Aran et al. | An incremental framework based on cross-validation for estimating the architecture of a multilayer perceptron | |
| CN113330459A (zh) | 用于训练以及用于运行有多任务能力的人工神经网络的方法、有多任务能力的人工神经网络和设备 | |
| CN116611500A (zh) | 用于训练神经网络的方法及装置 | |
| JP2023008922A (ja) | 信号の分類及び／又は信号に対する回帰分析を行うためのデバイス及び方法 | |
| CN114386449A (zh) | 用于借助于机器学习系统来确定输出信号的方法 | |
| CN115238904A (zh) | 用于在车辆中创建训练数据的方法、设备和计算机程序 | |
| CN112016695A (zh) | 用于预测学习曲线的方法、设备和计算机程序 | |
| CN114386565A (zh) | 提供神经网络 | |
| US20240020535A1 (en) | Method for estimating model uncertainties with the aid of a neural network and an architecture of the neural network | |
| JP7470062B2 (ja) | 情報処理装置、および、学習認識システム | |
| US20220262106A1 (en) | Device and method for training a machine learning system for generating images | |
| CN118076957A (zh) | 用于进行不变分类和/或回归的神经网络 | |
| US20220253702A1 (en) | Device and method for training a machine learning system for generating images | |
| US20220327390A1 (en) | Method for training a neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |