CN113994349A - 用于训练机器学习系统的方法和设备 - Google Patents

用于训练机器学习系统的方法和设备 Download PDF

Info

Publication number
CN113994349A
CN113994349A CN202080046427.9A CN202080046427A CN113994349A CN 113994349 A CN113994349 A CN 113994349A CN 202080046427 A CN202080046427 A CN 202080046427A CN 113994349 A CN113994349 A CN 113994349A
Authority
CN
China
Prior art keywords
machine learning
learning system
image
gen
enc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080046427.9A
Other languages
English (en)
Inventor
谷年龙
L·高尔霍夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113994349A publication Critical patent/CN113994349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

用于训练机器学习系统（60）的方法，所述方法包括用于产生包括输入图像（
Figure 100004_DEST_PATH_IMAGE001
）的增强数据记录来训练所述机器学习系统（60）的步骤，所述机器学习系统被设立用于对输入图像（x）进行分类和/或语义分割，所述机器学习系统具有第一机器学习系统（GEN）、尤其是第一神经网络以及第二机器学习系统（ENC）、尤其是第二神经网络，所述第一机器学习系统被构造为自编码器（ENC‑GEN）的解码器（GEN），所述第二机器学习系统被构造为自编码器（ENC‑GEN）的编码器（ENC），其中借助于所述编码器（ENC）分别从输入图像（
Figure 490750DEST_PATH_IMAGE002
）中确定潜在变量（
Figure 174934DEST_PATH_IMAGE003
），其中对所述输入图像（
Figure 220250DEST_PATH_IMAGE001
）根据其图像数据的所确定的特征表现形式进行分类，并且其中以类别中至少两个类别从输入图像（
Figure 881039DEST_PATH_IMAGE002
）中的至少一个输入图像中根据所确定的潜在变量（
Figure 100004_DEST_PATH_IMAGE004
）的平均值（
Figure 960990DEST_PATH_IMAGE005
、
Figure 49032DEST_PATH_IMAGE006
）确定所述增强数据记录的增强输入图像（
Figure 100004_DEST_PATH_IMAGE007
），其中图像类别被选择为使得归入所述图像类别的输入图像（
Figure 440699DEST_PATH_IMAGE002
）关于其表现形式在其他特征的可预先给定的集合中一致。

Description

用于训练机器学习系统的方法和设备
技术领域
本发明涉及用于训练机器学习系统的方法、训练设备、计算机程序和机器可读存储介质。
背景技术
“CVAE-GAN: Fine-Grained Image Generation through Asymmetry Training”（arXiv preprint arXiv: 1703.10155，2017，Jianmin Bao, Dong Chen, Fang Wen,Houqiang Li和Gang Hua）提供关于已知的生成方法、例如变分自编码器（VariationalAutoencoder）和生成对抗网络（Generative Adversarial Network）的概览。
发明内容
发明优点
具有独立权利要求1的特征的本发明具有以下优点：可以提供特别好的增强数据记录。这是可能的，因为可以在潜在变量空间（英文：“latent space（潜在空间）”）中特别好地分析图像的特征，并且可以提取未捆绑的特征，使得以所描述的行为方式特别有针对性地改变图像的特征是可能的。
本发明的其他方面是并列权利要求的主题。有利的改进方案是从属权利要求的主题。
发明的内容
在第一方面中，本发明涉及一种用于产生包括输入图像的增强数据记录来训练机器学习系统的计算机实现的方法，所述机器学习系统被设立用于对输入图像进行分类和/或语义分割，所述机器学习系统具有第一机器学习系统、尤其是第一神经网络以及第二机器学习系统、尤其是第二神经网络，所述第一机器学习系统被构造为自编码器的解码器，所述第二机器学习系统被构造为自编码器的编码器，其中借助于所述编码器分别从输入图像中确定潜在变量，其中对所述输入图像根据其图像数据的所确定的特征表现形式进行分类，并且其中以至少两个类别从输入图像中的至少一个输入图像中根据所确定的潜在变量的平均值确定所述增强数据记录的增强输入图像，其中图像类别被选择为使得归入所述图像类别的输入图像关于其表现形式在其他特征的可预先给定的集合中一致。
在此情况下于是可以有利地规定，借助于所述解码器根据所确定的增强潜在变量确定所述增强输入图像。由此可以高效地产生经修改的图像。
为了完全有针对性地修改现有图像的可预先给定的特征，可以规定，从所确定的潜在变量中的可预先给定的潜在变量和所述平均值的差中确定所述增强潜在变量。与所确定的潜在变量的可预先给定的潜在变量相对应的图像的特征因此被改变。
为了获得尽可能大量的新特征表现形式，可以规定，利用可预先给定的加权因子
Figure 100002_DEST_PATH_IMAGE001
对所述差进行加权。尤其是从而可能的是，生成大量的训练图像，所述训练图像的特征不同地强烈地变化。
例如可能的是，针对街道场景以大量表现形式改变行人的视觉属性，并且从而提供特别大的训练或测试数据记录，所述训练或测试数据记录关于该特征保证非常高的覆盖性。
在一种改进方案中，可以规定，借助于所产生的增强数据记录检验：尤其是已经训练的机器学习系统是否是稳健的，并且与此相关，并且其中当、尤其是仅当检验已经得出所述机器学习系统是不稳健的时，继续进行训练。由此可以特别可靠地检验：机器学习系统在变化的特征方面是否是稳健的。
可替代地或附加地，可以规定，当、尤其是仅当监控已经得出所述机器学习系统是不稳健的时，利用所产生的增强数据记录训练所述机器学习系统。
在该方面的一种改进方案中，可以规定，借助于监控单元执行对所述机器学习系统的监控，所述监控单元包括第一机器学习系统和第二机器学习系统，其中所述输入图像被输送给所述第二机器学习系统，所述第二机器学习系统从中确定低维潜在变量，所述第一机器学习系统从所述低维潜在变量中确定所述输入图像的重构，其中根据所述输入图像和重构输入图像判定所述机器学习系统是否是稳健的。
在这方面的一种改进方案中，可以规定，所述监控单元还包括神经网络系统的第三机器学习系统，其中所述神经网络系统包括所述第一机器学习系统、所述第二机器学习系统和第三机器学习系统、尤其是第三神经网络，其中所述第一机器学习系统被构造用于从可预先给定的低维潜在变量中确定所构造的较高维的图像，其中所述第二机器学习系统被构造用于又从所构造的较高维的图像中确定所述潜在变量，并且其中所述第三机器学习系统被构造用于区分输送给所述第三机器学习系统的图像是否是真实图像，其中根据如下项判定所述机器学习系统是否是稳健的：当将输入图像输送给第三机器学习系统时，在所述第三机器学习系统的可预先给定的特征图中的一个激活采取哪个值并且当将所述重构输入图像输送给所述第三机器学习系统时，在所述第三机器学习系统的所述可预先给定的特征图中的该一个激活采取哪个值。
在此情况下可以规定，所述第一机器学习系统如下被训练，即当将真实图像或真实图像的由第二机器学习系统和第一机器学习系统组成的串联重构的图像输送给所述第三机器学习系统时，在所述第三机器学习系统的特征图中的可预先给定的特征图中的一个激活采取相同的值。已经表明，训练由此特别好地收敛。
该方面的改进方案可以被规定，所述第一机器学习系统也如下被训练，即所述第三机器学习系统尽可能不识别出：输送给所述第三机器学习系统的由第一机器学习系统生成的图像不是真实图像。这负责特别稳健的异常探测。
可替代地或附加地，可以规定，所述第二机器学习系统并且尤其是仅第二机器学习系统如下被训练，即所述潜在变量的由第一机器学习系统和第二机器学习系统组成的串联确定的重构尽可能与潜在变量相等。已经认识到，如果该重构被选择为使得仅训练第二机器学习系统的参数，则该方法的收敛显著地得到改善，因为否则难以使编码器和发生器的成本函数彼此协调一致。
为了实现训练结果的尽可能好的改善，在一种改进方案中可以规定，其中所述第三机器学习系统如下被训练，即所述第三机器学习系统尽可能地识别出：输送给所述第三机器学习系统的由所述第一机器学习系统生成的图像不是真实图像和/或所述第三机器学习系统也如下被训练，即所述第三机器学习系统尽可能地识别出输送给所述第三机器学习系统的真实图像是真实图像。
为了实现训练结果的尽可能好的改善，在一种改进方案中可以规定，其中所述第三机器学习系统如下被训练，即所述第三机器学习系统尽可能地识别出：输送给所述第三机器学习系统的由所述第一机器学习系统生成的图像不是真实图像和/或所述第三机器学习系统也如下被训练，即所述第三机器学习系统尽可能地识别出输送给所述第三机器学习系统的真实图像是真实图像。
因为特别容易地确保训练数据记录的统计分布是可类比的（即：相同的），如果所述机器学习系统和所述神经网络系统利用包括相同输入图像的数据记录被训练，则监控是特别可靠的。
在其他方面中，本发明涉及一种被设立用于执行上述方法的计算机程序以及一种在其上存储有该计算机程序的机器可读存储介质。
附图说明
下面参照所附附图更详细地阐述本发明的实施方式。在附图中：
图1示意性地示出本发明的实施方式的结构；
图2示意性地示出用于控制至少部分自主的机器人的实施例；
图3示意性地示出用于控制生产系统的实施例；
图4示意性地示出用于控制访问系统的实施例；
图5示意性地示出用于控制监控系统的实施例；
图6示意性地示出用于控制个人助理的实施例；
图7示意性地示出用于控制医学成像系统的实施例；
图8示出监控单元的可能结构；
图9示出第一训练设备141的可能结构；
图10示出神经网络系统；
图11示出第二训练设备140的可能结构。
具体实施方式
图1示出在其环境20中与控制系统40交互的执行器10。以优选地规则的时间间隔，在传感器30、尤其是成像传感器、例如视频传感器中检测环境20，所述传感器也可以由多个传感器、例如立体摄像机给出。也可以设想其他成像传感器，诸如雷达、超声波或激光雷达。也可设想热图像摄像机。传感器30的传感器信号S——或者在多个传感器的情况下每一个传感器信号S——被传送给控制系统40。控制系统40因此接收传感器信号S的序列。控制系统40从中确定操控信号A，所述操控信号A被传输给执行器10。
控制系统40在可选的接收单元50中接收传感器30的传感器信号S的序列，所述接收单元50将传感器信号S的序列转换成输入图像x的序列（可替代地，传感器信号S分别也可以直接作为输入图像x被接管）。例如，输入图像x可以是传感器信号S的片段或进一步处理。输入图像 x包括视频记载的各个帧。换句话说，根据传感器信号 S确定输入图像x。输入图像x的序列被输送给机器学习系统，在该实施例中被输送给人工神经网络 60。
人工神经网络60优选地通过参数
Figure 827694DEST_PATH_IMAGE002
被参数化，所述参数
Figure 170601DEST_PATH_IMAGE002
存放在参数存储器P中并且由所述参数存储器提供。
人工神经网络60从输入图像x中确定输出参量y。这些输出参量y可以尤其是包括输入图像x的分类和/或语义分割。输出参量y被输送给可选的变换单元80，所述变换单元从中确定操控信号A，所述操控信号A被输送给执行器10，以便相应地操控执行器10。输出参量y包括关于传感器30已检测到的对象的信息。
控制系统40此外包括用于监控人工神经网络60的工作模式的监控单元61。输入图像x同样被输送给监控单元61。所述监控单元据此确定监控信号d，所述监控信号同样被输送给变换单元80。操控信号A也根据监控信号d被确定。
监控信号d表征：神经网络60是否可靠地确定输出参量y。如果监控信号d表征不可靠性，则例如可以规定，根据安全运行模式确定操控信号A（而否则在正常运行模式下确定所述操控信号）。安全运算模式可以例如包含：执行器10的动态性被降低，或者用于操控执行器10的功能性被关断。
执行器10接收操控信号A，被相应地操控并且执行相应的动作。在此情况下，执行器10可以包括（不一定在结构上集成的）操控逻辑电路，所述操控逻辑电路从操控信号A中确定第二操控信号，然后利用该第二操控信号对执行器10进行操控。
在另一实施方式中，控制系统40包括传感器30。在又一实施方式中，控制系统40可替代地或附加地还包括执行器10。
在另一优选实施方式中，控制系统40包括单个或多个处理器45和至少一个机器可读存储介质46，指令存储在所述机器可读存储介质上，当所述指令在处理器45上被执行时，所述指令促使控制系统40执行根据本发明的方法。
在可替代的实施方式中，替代于或附加于执行器10，设置显示单元10a。
图2示出可以如何使用控制系统40来控制至少部分自主的机器人、在这里至少部分自主的机动车100。
传感器30可以例如是优选地布置在机动车100中的视频传感器。
人工神经网络60被设立用于从输入图像x中可靠地标识对象。
优选地布置在机动车100中的执行器10可以例如是机动车100的制动器、驱动装置或转向装置。于是操控信号A可以被确定为使得所述一个执行器或多个执行器10被操控，使得机动车100例如防止与由人工神经网络60可靠地标识的对象碰撞，尤其是当涉及特定类别的对象，例如涉及行人的话。
可替代地，至少部分自主的机器人也可以是其他移动机器人（未绘出），例如是通过飞行、游泳、潜水或行进向前移动的这样的机器人。移动机器人也可以例如是至少部分自主的割草机或至少部分自主的清洁机器人。即使在这些情况下，操控信号A也可以被确定为使得移动机器人的驱动装置和/或转向装置被操控为使得至少部分自主的机器人例如防止与由人工神经网络 60标识的对象碰撞。
可替代地或附加地，可以利用操控信号A操控显示单元10a并且例如表示所确定的安全区域。例如，在具有非自动转向装置的机动车100的情况下可能的是，显示单元10a利用操控信号A被操控为使得当确定出机动车10即将发生与可靠地标识的对象之一碰撞时，所述显示单元输出光学或声学警告信号。
图3示出一种实施例，其中使用控制系统40来操控生产系统200的生产机器11，其方式是对控制所述生产机器11的执行器10进行操控。生产机器11可以例如是用于冲压、锯切、钻孔和/或切割的机器。
传感器30于是可以例如是光学传感器，所述光学传感器例如检测生产产品12a、12b的特性。可能的是，这些生产产品12a、12b是可移动的。可能的是，控制生产机器11的执行器10根据所检测的生产产品12a、12b的分配被操控，以便生产机器11相应地执行生产产品12a、12b中的正确生产产品的后续加工步骤。也可能的是，通过标识生产产品12a、12b中的相同生产产品的正确特性（即在无误分配的情况下），生产机器11相应地适配相同的生产步骤用于对后续生产产品进行加工。
图4示出一种实施例，其中使用控制系统40来控制访问系统300。访问系统300可以包括物理访问控制、例如门401。视频传感器30被设立用于检测人员。可以借助于对象标识系统60来解释该所检测的图像。如果同时检测到多个人，则可以例如通过彼此分配人员（即对象），例如通过分析其运动来特别可靠地确定人员的身份。执行器10可以是锁，根据操控信号A来释放或不释放访问控制，例如打开或不打开门401。为此，可以根据对象标识系统60的解释、例如根据人员的所确定的身份来选择操控信号A。代替物理访问控制，也可以设置逻辑访问控制。
图5示出一种实施例，其中使用控制系统40来控制监控系统400。该实施例与在图5中所示的实施例不同之处在于，代替执行器10，设置显示单元10a，所述显示单元由控制系统40操控。例如，可以由人工神经网络60可靠地确定由视频传感器30记录的对象的身份，以便例如据此推断出哪些变得可疑，并且于是可以选择操控信号A，使得由显示单元10a以色彩突出的方式表示该对象。
图6示出一种实施例，其中使用控制系统40来控制个人助理250。传感器30优选地是接收用户249的手势的图像的光学传感器。
根据传感器30的信号，控制系统40确定个人助理250的操控信号A，例如其方式是神经网络执行手势识别。该所确定的操控信号A然后被传送给个人助理250并且所述个人助理因此相应地被操控。该所确定的操控信号A可以尤其是被选择为使得所述操控信号对应于通过用户249的推测的期望操控。可以根据由人工神经网络60识别的手势来确定该推测的期望操控。控制系统40然后可以根据所推测的期望操控来选择操控信号A以传送给个人助理250和/或与所推测的期望操控250对应地选择操控信号A以传送给个人助理。
该相应的操控可以例如包含：个人助理250从数据库中调用信息并且以可接受的方式为用户249再现所述信息。
代替个人助理250，也可以设置家用电器（未绘出）、尤其是洗衣机、灶台、烤炉、微波炉或洗碗机，以便相应地被操控。
图7示出一种实施例，其中使用控制系统40来控制医学成像系统500、例如MRT、X射线或超声设备。传感器30可以例如通过成像传感器给出，通过控制系统40对显示单元10a进行操控。例如，可以由神经网络60确定：由成像传感器记录的区域是否是显眼的，并且然后可以选择操控信号A，使得由显示单元10a以色彩突出的方式表示该区域。
图8示出监控单元61的可能结构。输入图像x被输送给编码器（英语：“Encoder”）ENC，所述编码器从中确定所谓的潜在变量z。潜在变量z具有比输入图像x小的维数。该潜在变量z被输送给发生器GEN，所述发生器从中产生重构图像
Figure DEST_PATH_IMAGE003
。在该实施例中，编码器ENC和发生器GEN分别由卷积神经网络（英语：“convolutional neural network”）给出。输入图像x和重构图像
Figure 747075DEST_PATH_IMAGE003
被输送给鉴别器DIS。鉴别器DIS已被训练，以便尽可能好地产生参量，所述参量表征输送给鉴别器DIS的图像是否是真实的图像，或者所述图像是否由发生器GEN产生。这在下面结合图10更详细地予以阐述。发生器GEN同样是卷积神经网络。
当输入图像x或重构图像
Figure 548809DEST_PATH_IMAGE004
被输送给发生器GEN时得出的第
Figure 894340DEST_PATH_IMAGE006
层（其中
Figure 107015DEST_PATH_IMAGE006
是可预先给定的数）的特征图（英语：“feature maps”）用
Figure 639628DEST_PATH_IMAGE007
或
Figure DEST_PATH_IMAGE008
表示。这些特征图被输送给评估器BE，其中例如重构误差为
Figure 369687DEST_PATH_IMAGE009
。在一种（未示出的）替代实施方式中，也可能的是，在绕开鉴别器DIS的情况下将重构误差选择为
Figure DEST_PATH_IMAGE010
Figure 445090DEST_PATH_IMAGE011
。
随后可以将异常值
Figure DEST_PATH_IMAGE012
确定为参考数据记录（例如，鉴别器DIS和/或发生器GEN和/或编码器ENC被训练所利用的训练数据记录）的以下输入图像的分量，即所述输入图像的重构误差小于所确定的重构误差Ex。如果异常值A（x）大于可预先给定的阈值，则将监控信号d设置为值d=1，这用信号表明输出参量y可能不可靠地被确定。否则，将监控信号d设置为值d=0，这用信号表明输出参量y的确定被归类为可靠的。
图9示出用于训练监控单元51的第一训练设备141的可能结构。所述第一训练设备用参数θ被参数化，所述参数θ由参数存储器P提供。参数θ包括参数化发生器GEN的发生器参数
Figure 969612DEST_PATH_IMAGE013
、参数化编码器ENC的编码器参数
Figure DEST_PATH_IMAGE014
和参数化鉴别器DIS的鉴别器参数
Figure 881199DEST_PATH_IMAGE015
。
训练设备141包括提供器71，所述提供器从训练数据记录提供输入图像e。输入图像e被输送给待训练的监控单元61，所述监控单元从中确定输出参量a。输出参量a和输入图像e被输送给评价器74，所述评价器如结合图10所描述的那样从中确定新的参数
Figure DEST_PATH_IMAGE016
，所述新的参数被传送给参数存储器P并且在那里替代参数θ。
由训练设备141执行的方法可以实现为计算机程序地存放在机器可读存储介质146上并且由处理器145执行。
图10图解说明在训练时发生器GEN、编码器ENC和鉴别器DIS的相互作用。发生器GEN、编码器ENC和鉴别器DIS的在这里示出的装置在本文中也称为神经网络系统。
首先，训练鉴别器DIS。用于训练鉴别器DIS的接下来的步骤可以例如被重复
Figure 149369DEST_PATH_IMAGE017
次，其中
Figure DEST_PATH_IMAGE018
是可预先给定的整数。
首先，提供一批（英语：“batch”）真实输入图像x。这些真实输入图像被称为具有（一般而言未知的）概率分布
Figure 79279DEST_PATH_IMAGE019
的
Figure DEST_PATH_IMAGE020
。这些输入图像
Figure 40282DEST_PATH_IMAGE021
是例如从数据库中提供的真实图像。这些输入图像的整体也被称为训练数据记录。
此外，一批潜在变量z作为从概率分布
Figure DEST_PATH_IMAGE022
中随机提取的
Figure 937699DEST_PATH_IMAGE023
被提供。在此情况下，概率分布
Figure DEST_PATH_IMAGE024
例如是（多维）标准正态分布。
此外，一批随机变量作为从概率分布
Figure 743981DEST_PATH_IMAGE025
中随机提取的
Figure DEST_PATH_IMAGE026
被提供。在此情况下，所述概率分布
Figure 793977DEST_PATH_IMAGE027
例如是区间[0;1]上的均匀分布。
潜在变量z被输送给发生器GEN并且给出所构造的输入图像
Figure DEST_PATH_IMAGE028
,也即
Figure 660302DEST_PATH_IMAGE029
。
利用随机变量ϵ在输入图像x和所构造的输入图像
Figure 74709DEST_PATH_IMAGE028
之间进行内插，也即
Figure DEST_PATH_IMAGE030
。
于是利用可预先给定的梯度系数λ确定鉴别器成本函数
Figure 294469DEST_PATH_IMAGE031
，
其中所述梯度系数例如可以被选择为λ=10。新的鉴别器参数
Figure DEST_PATH_IMAGE032
可以从中被确定为
Figure 244976DEST_PATH_IMAGE033
，
其中“Adam”代表梯度下降方法。从而鉴别器DIS的该训练结束。
随后，训练发生器GEN和编码器ENC。在这里也作为真实输入图像
Figure 16623DEST_PATH_IMAGE034
和随机选择的潜在变量
Figure DEST_PATH_IMAGE035
被提供。重新确定
Figure 498420DEST_PATH_IMAGE036
。从中确定重构潜在变量
Figure DEST_PATH_IMAGE037
，其方式是将重构图像
Figure 787450DEST_PATH_IMAGE038
输送给编码器ENC，也即
Figure DEST_PATH_IMAGE039
。
如图8中图解说明地，同样借助于编码器ENC和发生器GEN试图重构输入图像x，也即
Figure 671093DEST_PATH_IMAGE040
。
现在，发生器成本函数
Figure DEST_PATH_IMAGE041
、输入图像x的重构成本函数
Figure 770898DEST_PATH_IMAGE042
和潜在变量z的重构成本函数
Figure DEST_PATH_IMAGE043
被确定为
Figure 739991DEST_PATH_IMAGE044
。
然后，新的发生器参数
Figure DEST_PATH_IMAGE045
和新的编码器参数
Figure 567133DEST_PATH_IMAGE046
被确定为
Figure DEST_PATH_IMAGE047
。
新的发生器参数
Figure 492232DEST_PATH_IMAGE048
、新的编码器参数
Figure DEST_PATH_IMAGE049
和新的鉴别器参数
Figure 652954DEST_PATH_IMAGE050
然后替代发生器参数
Figure DEST_PATH_IMAGE051
、编码器参数
Figure 843763DEST_PATH_IMAGE052
和鉴别器参数
Figure DEST_PATH_IMAGE053
。
在这一点上，可以检验参数θ的收敛，并且必要时可以重复鉴别器DIS和/或发生器GEN和编码器ENC的训练，直至存在收敛为止。该方法由此结束。
图11示出用于训练神经网络60的示例性第二训练设备140。训练设备140包括提供器72，所述提供器提供输入图像x和额定输出参量ys，例如额定分类。输入图像x被输送给待训练的人工神经网络60，所述人工神经网络从中确定输出参量y。输出参量y和额定输出参量ys被输送给比较器75，所述比较器根据各自输出参量y和额定输出参量ys的一致性从中确定新的参数
Figure 599230DEST_PATH_IMAGE054
，所述新的参数被传送给参数存储器P并且在那里替代参数
Figure DEST_PATH_IMAGE055
。
由训练系统140执行的方法可以以实现为计算机程序的方式存放在机器可读存储介质148上并且由处理器147执行。
包括输入图像x和所属的额定输出参量ys的数据记录可以（例如由提供器72）如下被增强或产生。首先，提供包括输入图像
Figure 316519DEST_PATH_IMAGE056
的数据记录。这些输入图像根据特征的可预先给定的表现形式（示例性地称为“A”和“B”）被分类，例如车辆可以根据特征“接通前灯”或“关断前灯”被分类，或所标识的汽车可以根据类型“豪华轿车”或“旅行车”被分类。例如，对于所识别的行人，特征“头发颜色”的不同表现形式也是可能的。根据该特征具有哪种表现形式，将输入图像
Figure DEST_PATH_IMAGE057
划分成两个集合，即
Figure 132028DEST_PATH_IMAGE058
和
Figure DEST_PATH_IMAGE059
。有利地，这些集合还如下被均匀化，即对于其他特征、优选地所有其他特征的可预先给定的集合，输入图像
Figure 482238DEST_PATH_IMAGE057
具有相同的表现形式X，也即
Figure 667494DEST_PATH_IMAGE060
借助于编码器ENC，对于输入图像
Figure 849077DEST_PATH_IMAGE057
中的每一个确定所属的潜在变量
Figure DEST_PATH_IMAGE061
。
于是在集合上确定潜在变量的平均值，也即
Figure 569908DEST_PATH_IMAGE062
。
随后构成平均值的差，也即
Figure DEST_PATH_IMAGE063
。
现在对于来自集合IA的图像，利用可预先给定的标度因子
Figure 876256DEST_PATH_IMAGE064
确定新的潜在变量，所述标度因子例如可以采用在0和1之间的值，也即
Figure DEST_PATH_IMAGE065
相应地，对于来自集合IB的图像，可以将新的潜在变量构成为
Figure 973525DEST_PATH_IMAGE066
。
可以由此借助于
Figure DEST_PATH_IMAGE067
产生新的图像
Figure 665406DEST_PATH_IMAGE068
。
当然，不必对全部图像进行分类。例如可能的是，利用探测算法将图像片段分类为对象，然后切除这些图像片段，必要时产生新的图像片段（对应于新的图像
Figure DEST_PATH_IMAGE069
）并且在所切除的图像片段的位置处插入到所属的图像中。以这种方式，例如可能的是，在具有所探测的行人的图像中选择性地适配该行人的头发颜色。
除了从而在表现形式“A”和“B”之间变化的特征的分类之外，可以不变地接管所属的额定输出参量ys。因此可以产生增强数据记录并且可以从而训练神经网络60。该方法由此结束。
术语“计算机”包括用于执行可预先给定的计算规则的任意设备。这些计算规则可以以软件的形式或者以硬件的形式或者也以由软件和硬件组成的混合形式存在。

Claims (17)

1.一种用于训练机器学习系统（60）的方法，所述方法包括用于产生包括输入图像（
Figure DEST_PATH_IMAGE001
）的增强数据记录来训练所述机器学习系统（60）的步骤，所述机器学习系统被设立用于对输入图像（x）进行分类和/或语义分割，所述机器学习系统具有第一机器学习系统（GEN）、尤其是第一神经网络以及第二机器学习系统（ENC）、尤其是第二神经网络，所述第一机器学习系统被构造为自编码器（ENC-GEN）的解码器（GEN），所述第二机器学习系统被构造为自编码器（ENC-GEN）的编码器（ENC），其中借助于所述编码器（ENC）分别从输入图像（
Figure 82272DEST_PATH_IMAGE002
）中确定潜在变量（
Figure 733833DEST_PATH_IMAGE003
），其中对所述输入图像（
Figure 247991DEST_PATH_IMAGE002
）根据其图像数据的所确定的特征表现形式进行分类，并且其中以类别中的至少两个类别从输入图像（
Figure 377621DEST_PATH_IMAGE002
）中的至少一个输入图像中根据所确定的潜在变量（
Figure DEST_PATH_IMAGE004
）的平均值（
Figure 926414DEST_PATH_IMAGE005
、
Figure 483297DEST_PATH_IMAGE006
）确定所述增强数据记录的增强输入图像（
Figure DEST_PATH_IMAGE007
），其中图像类别被选择为使得归入所述图像类别的输入图像（
Figure 983286DEST_PATH_IMAGE002
）关于其表现形式在其他特征的可预先给定的集合中一致。
2.根据权利要求1所述的方法，其中借助于所述解码器（GEN）根据所确定的增强潜在变量（
Figure 916607DEST_PATH_IMAGE008
）确定所述增强输入图像（
Figure DEST_PATH_IMAGE009
）。
3.根据权利要求2所述的方法，其中从所确定的潜在变量（
Figure 54328DEST_PATH_IMAGE004
）中的可预先给定的潜在变量和所述平均值（
Figure 782112DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
）的差（
Figure 5283DEST_PATH_IMAGE012
）中确定所述增强潜在变量（
Figure 476716DEST_PATH_IMAGE008
）。
4.根据权利要求3所述的方法，其中利用可预先给定的加权因子（
Figure DEST_PATH_IMAGE013
）对所述差（
Figure 734522DEST_PATH_IMAGE012
）进行加权。
5.根据权利要求1至4中任一项所述的方法，其中借助于所产生的增强数据记录检验：所述机器学习系统（60）是否是稳健的，并且与此相关，并且其中当检验已经得出所述机器学习系统（60）是不稳健的时，继续进行训练。
6.根据权利要求1至4中任一项所述的方法，其中当监控已经得出所述机器学习系统（60）是不稳健的时，利用所产生的增强数据记录训练所述机器学习系统（60）。
7.根据权利要求6所述的方法，其中借助于监控单元（61）执行对所述机器学习系统（60）的监控，所述监控单元包括第一机器学习系统（GEN）和第二机器学习系统（ENC），其中所述输入图像（x）被输送给所述第二机器学习系统（ENC），所述第二机器学习系统从中确定低维潜在变量（z），所述第一机器学习系统（GEN）从所述低维潜在变量中确定所述输入图像的重构（
Figure 898787DEST_PATH_IMAGE014
），其中根据所述输入图像（x）和重构输入图像（
Figure 874833DEST_PATH_IMAGE014
）判定所述机器学习系统（60）是否是稳健的。
8.根据权利要求7所述的方法，其中所述监控单元（61）还包括神经网络系统的第三机器学习系统（DIS），
其中所述神经网络系统包括所述第一机器学习系统（GEN）、所述第二机器学习系统（ENC）和第三机器学习系统、尤其是第三神经网络（DIS），其中所述第一机器学习系统（GEN）被构造用于从可预先给定的低维潜在变量（z）中确定所构造的较高维的图像（
Figure 884377DEST_PATH_IMAGE014
），其中所述第二机器学习系统（ENC）被构造用于再次从所构造的较高维的图像（
Figure 262269DEST_PATH_IMAGE014
）中确定所述潜在变量（z），并且其中所述第三机器学习系统（DIS）被构造用于区分输送给所述第三机器学习系统的图像是否是真实图像（x），
其中根据以下项判定所述机器学习系统（60）是否是稳健的：当将输入图像（x）输送给第三机器学习系统（DIS）时，在所述第三机器学习系统（DIS）的可预先给定的特征图中的一个激活（
Figure DEST_PATH_IMAGE015
）采取哪个值（
Figure 331856DEST_PATH_IMAGE016
）并且当将所述重构输入图像（
Figure 795199DEST_PATH_IMAGE014
）输送给所述第三机器学习系统（DIS）时，在所述第三机器学习系统（DIS）的所述可预先给定的特征图中的该一个激活（
Figure 608434DEST_PATH_IMAGE015
）采取哪个值（
Figure 339367DEST_PATH_IMAGE017
）。
9.根据权利要求8所述的方法，其中所述第一机器学习系统（GEN）如下被训练，即当将真实图像（x）或真实图像的由第二机器学习系统（ENC）和第一机器学习系统（GEN）组成的串联重构的图像（
Figure 845435DEST_PATH_IMAGE018
）输送给所述第三机器学习系统（DIS）时，在所述第三机器学习系统（DIS）的特征图中的可预先给定的特征图中的一个激活（
Figure 530494DEST_PATH_IMAGE015
）采取相同的值。
10.根据权利要求9所述的方法，其中所述第一机器学习系统（GEN）也如下被训练，即所述第三机器学习系统（DIS）尽可能不识别出：输送给所述第三机器学习系统的由第一机器学习系统（GEN）生成的图像（
Figure 147420DEST_PATH_IMAGE018
）不是真实图像。
11.根据权利要求9或10所述的方法，其中所述第二机器学习系统（ENC）如下被训练，即所述潜在变量（z）的由第一机器学习系统（GEN）和第二机器学习系统（ENC）组成的串联确定的重构（
Figure 499904DEST_PATH_IMAGE019
）尽可能与潜在变量（z）相等。
12.根据权利要求9至11中任一项所述的方法，其中所述第三机器学习系统（DIS）如下被训练，即所述第三机器学习系统尽可能地识别出：输送给所述第三机器学习系统的由所述第一机器学习系统（GEN）生成的图像（
Figure 176873DEST_PATH_IMAGE018
）不是真实图像。
13.根据权利要求12所述的方法，其中所述第三机器学习系统（DIS）也如下被训练，即所述第三机器学习系统尽可能地识别出输送给所述第三机器学习系统的真实图像（x）是真实图像。
14.根据权利要求12或13所述的方法，其中所述机器学习系统（60）和所述神经网络系统已经利用包括相同输入图像（x）的数据记录被训练。
15.一种训练设备（140、141），所述训练设备被设立用于执行根据权利要求1至14中任一项所述的方法。
16.一种计算机程序，所述计算机程序被设立用于执行根据权利要求1至14中任一项所述的方法。
17.一种机器可读存储介质（146、148），根据权利要求16所述的计算机程序存储在所述机器可读存储介质上。
CN202080046427.9A 2019-06-28 2020-06-10 用于训练机器学习系统的方法和设备 Pending CN113994349A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019209566.6A DE102019209566A1 (de) 2019-06-28 2019-06-28 Verfahren und Vorrichtung zum Trainieren eines maschinellen Lernsystems
DE102019209566.6 2019-06-28
PCT/EP2020/066033 WO2020260016A1 (de) 2019-06-28 2020-06-10 Verfahren und vorrichtung zum trainieren eines maschinellen lernsystems

Publications (1)

Publication Number Publication Date
CN113994349A true CN113994349A (zh) 2022-01-28

Family

ID=71092522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080046427.9A Pending CN113994349A (zh) 2019-06-28 2020-06-10 用于训练机器学习系统的方法和设备

Country Status (4)

Country Link
US (1) US20220245932A1 (zh)
CN (1) CN113994349A (zh)
DE (1) DE102019209566A1 (zh)
WO (1) WO2020260016A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210224511A1 (en) * 2020-01-21 2021-07-22 Samsung Electronics Co., Ltd. Image processing method and apparatus using neural network
CN113467881B (zh) * 2021-09-01 2021-11-16 南方电网数字电网研究院有限公司 图表样式自动化调整方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017223166A1 (de) * 2017-12-19 2019-06-19 Robert Bosch Gmbh Verfahren zum automatischen Klassifizieren
KR20200144398A (ko) * 2019-06-18 2020-12-29 삼성전자주식회사 클래스 증가 학습을 수행하는 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
US20220245932A1 (en) 2022-08-04
WO2020260016A1 (de) 2020-12-30
DE102019209566A1 (de) 2020-12-31

Similar Documents

Publication Publication Date Title
US20220222929A1 (en) Method and device for testing the robustness of an artificial neural network
EP3796228A1 (en) Device and method for generating a counterfactual data sample for a neural network
US20220100850A1 (en) Method and system for breaking backdoored classifiers through adversarial examples
CN113994349A (zh) 用于训练机器学习系统的方法和设备
CN114386614A (zh) 用于训练机器学习系统的方法和装置
CN113243021A (zh) 用于训练神经网络的方法
US20210224646A1 (en) Method for generating labeled data, in particular for training a neural network, by improving initial labels
US20230260259A1 (en) Method and device for training a neural network
US11551084B2 (en) System and method of robust active learning method using noisy labels and domain adaptation
CN112561073A (zh) 使用基于批次的主动学习方案训练机器学习模型
CN112740625B (zh) 用于确定操控信号的方法和设备
US20230237810A1 (en) Method and system for annotating sensor data
JP2023118101A (ja) 機械学習システムに対する敵対的パッチを特定するための装置及び方法
JP7006724B2 (ja) 分類装置、分類方法、及び、プログラム
CN112149790A (zh) 用于检查人工神经网络的鲁棒性的方法和设备
CN114386449A (zh) 用于借助于机器学习系统来确定输出信号的方法
CN113378874A (zh) 用于异常检测的设备和方法
US20230351741A1 (en) Method and device for training a neural network
US20230186051A1 (en) Method and device for determining a coverage of a data set for a machine learning system with respect to trigger events
US20240135699A1 (en) Device and method for determining an encoder configured image analysis
CN114139592A (zh) 用于训练量化分类器的方法和设备
CN116959078B (zh) 疲劳检测模型的构建方法、疲劳检测方法及其装置
EP4365853A1 (en) Method for detecting an object in an image
US20230056387A1 (en) Method and device for ascertaining object detections of an image
JP2009271890A (ja) 画像処理装置及びその方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination