CN113283458A - 利用局部区分信息使用鉴别器来训练生成器神经网络 - Google Patents

利用局部区分信息使用鉴别器来训练生成器神经网络 Download PDF

Info

Publication number
CN113283458A
CN113283458A CN202110140064.1A CN202110140064A CN113283458A CN 113283458 A CN113283458 A CN 113283458A CN 202110140064 A CN202110140064 A CN 202110140064A CN 113283458 A CN113283458 A CN 113283458A
Authority
CN
China
Prior art keywords
sensor data
network
discriminator
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110140064.1A
Other languages
English (en)
Inventor
A·霍列娃
E·舍恩菲尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113283458A publication Critical patent/CN113283458A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一些实施例涉及一种用于训练被配置成生成合成传感器数据（141）的生成器神经网络（110；120，130，140）的训练方法（300）。鉴别器网络被配置成接收（360）包括合成传感器数据和/或测量传感器数据的鉴别器输入数据，并且产生（370）局部区分信息作为输出，如果所述子集对应于测量传感器数据或合成传感器数据，则局部区分信息指示鉴别器输入数据的多个子集。

Description

利用局部区分信息使用鉴别器来训练生成器神经网络
发明领域
本公开的主题涉及用于训练生成器神经网络的训练方法、涉及用以为机器可学习模型生成另外的训练数据的方法、涉及用以训练机器可学习模型的方法、涉及用于训练生成器神经网络的训练系统、涉及用于生成器神经网络的生成器系统，以及涉及自主装置和计算机可读介质。
背景技术
机器可学习模型在许多技术领域中都有广泛的应用。例如，在零件生产中，机器可学习模型可以根据零件的传感器读数（例如，利用图像传感器拍摄的图像）将生产的零件分类为故障。自动化质量控制有可能大大降低所生产的故障零件（例如，组件等等）的百分比。与机器可学习模型耦合的图像传感器可以消除几乎所有带有可见缺陷的零件。
例如，在自主驾驶中，机器可学习模型可以例如根据环境的传感器读数将自主车辆环境中的对象分类为另一辆汽车、骑自行车的人、行人等等。传感器读数可以利用诸如图像传感器、LIDAR等等的传感器来获得。车辆的控制器将使用该分类来做出驾驶决策。例如，如果行人似乎就要过马路，则汽车可能需要降低速度，而没有必要为了在路边等待的标志来调整驾驶——除非该标志被分类为交通标志，在这种情况下，可能会出现这样的需要，以此类推。
为了训练或测试机器可学习模型（例如，包括神经网络），需要训练数据。这样的训练数据可以通过在与实践中期望遇到的环境相似的环境中进行传感器测量来获得。然而，获得正确种类或正确的量的训练数据有时是困难的。例如，对于特定机器可学习模型的复杂性而言，训练数据可能太少，而获得附加的训练数据却是昂贵的，甚至是不可能的。另一个问题是很难获得足够的适当种类的训练数据。例如，在自主车辆（诸如汽车）的情况下，如果当前是夏天，那么直到冬天为止都不可能获得冬天风景中的附加训练数据。另一个问题是，危险情况（例如，撞车和接近撞车）很少发生并且很难人为实施。在2009年至2015年之间，一支自主车队行驶了130万英里，并发生了11起撞车事故。（参见Nidhi Kalra和SusanM. Paddock的文章“How Many Miles of Driving Would It Take to DemonstrateAutonomous Vehicle Reliability
Figure 182186DEST_PATH_IMAGE001
”）。尽管任何一次撞车都是多余的，但是出于测试和训练的目的，这11次撞车的传感器数据并不多。
可以使用生成器神经网络来生成附加训练数据。特别地，生成式对抗网络（GAN）是用于数据合成（例如，用于生成看上去自然的图像，以及用于学习特征表示）的强大工具。生成器神经网络可以被配置成生成合成传感器数据（synthesized sensor data），其看起来像测量传感器数据（measured sensor data）。例如，生成器神经网络可以被配置成从头开始生成合成传感器数据，例如，以噪声向量作为输入并产生合成传感器数据作为输出。例如，生成器神经网络可以被配置成将现有的测量传感器数据从一个域变换到另一个域，例如，从夏天变换到冬天，或者从LIDA传感器数据变换到图像传感器数据等。生成器神经网络可以被配置成获取附加的输入（例如，类标签），从而向生成器神经网络指示所期望的合成传感器数据的类型，例如，一年中的时间、合成传感器数据中的汽车类型等等。另一应用是将测量传感器数据从一个形式转移到另一个形式，例如，从雷达转移到图像数据，反之亦然。这可以使来自不同来源的补充数据是可互换的。
训练生成器神经网络的优选方式是与鉴别器神经网络一起的，例如，在所谓的生成式对抗网络（GAN）中。GAN至少包括两个神经网络：生成器和鉴别器。两个网络通过对抗性训练进行联合训练，例如，两个网络在游戏中竞争，其中鉴别器被优化以区分来自训练集的原始图像与生成器网络所生成的图像。相反地，对生成器进行训练，以使其生成的图像与训练数据集中包含的图像越来越不可区分。以它们的标准形式，GAN从它们的训练数据分布模型中生成独立的样本，并且不需要用于训练或生成的标签信息。例如，参见Ian J.Goodfellow等人的文章“Generative Adversarial Nets”，其通过引用包含在本文中。GAN中可能存在多个生成器网络。
GAN的重要子类是有条件的GAN（cGAN），其接收对鉴别器网络和/或生成器网络的一个或多个附加输入，并且因此可以以用户指定的信息为条件生成新数据。基本用例是提供类标签，并且然后只生成该特定类的图像。近来，cGAN已成功地用于生成不同类的照片般逼真的合成图像；参见例如Andrew Brock等人的文章“Large scale GAN training forhigh fidelity natural image synthesis”。cGAN还已经成功地用于图像到图像和标签到图像的转换任务，目的是在密集信息（诸如图像或标签图）的条件下，并利用有关场景的一些先验信息生成看上去逼真的图像；参见例如Taesung Park等人的文章“Semantic ImageSynthesis with Spatially-Adaptive Normalization”。
发明内容
具有用于训练被配置成生成合成传感器数据的生成器神经网络的一种经改善的训练方法将是有利的，并且在权利要求中定义了这样的方法。
例如，该方法可以包括将生成器神经网络与鉴别器神经网络一起训练。该训练可以包括使用生成器神经网络生成合成传感器数据。例如，鉴别器网络可以被优化以区分测量传感器数据和合成传感器数据，而生成器网络可以被优化以生成鉴别器网络无法将其与测量传感器数据区分开的合成传感器数据。
有趣的是，鉴别器网络可以被配置成接收鉴别器输入数据，其可以包括合成传感器数据和/或测量传感器数据，并且产生局部区分信息作为输出。例如，鉴别器输入数据可以是合成传感器数据或测量传感器数据，但是鉴别器输入数据也可以是两者的组合。如果所述子集对应于测量传感器数据或合成传感器数据，则局部区分信息可以指示鉴别器输入数据的多个子集。
在常规的GAN框架中，鉴别器可以被配置成输出关于鉴别器输入数据的一个全局决策，例如，是测量传感器数据还是合成传感器数据，例如，是属于真实类还是虚假类。发明人发现，这种全局反馈信息可能会误导生成器：合成样本往往看起来是部分真实的，然而，如果鉴别器将整个样本分类为虚假的，则生成器将得到噪声信号，即样本的所有部分都是虚假的。这可能会显著地减慢生成器的训练，并且甚至可能导致训练期间的次最优解决方案。
在实施例中，鉴别器被配置成提供局部区分信息作为输出。该局部区分信息向生成器神经网络提供局部反馈；例如，鉴别器输入的特定子集看起来是真实的，例如，似乎是从与测量传感器数据相同的分布中抽取的，而鉴别器输入的另一子集看起来是虚假的，例如，似乎不是从与测量传感器数据相同的分布中抽取的。
因此，生成器网络训练使用包括更多信息的训练信号，因此帮助训练。另一方面，即使总体印象是测量传感器数据的印象，鉴别器也可以发现其输入的一部分看起来并不真实。因此，欺骗鉴别器的生成器任务变得更具挑战性，这会改善所生成的样本的质量。
可以从一个或多个传感器获得测量传感器数据，其中一些可以是空间传感器，例如，图像传感器、LIDAR等等。例如，测量传感器数据可以包括从图像传感器获得的测量图像；以及合成传感器数据可以包括合成图像。通常，合成传感器数据和测量传感器数据具有相同的分辨率。例如，传感器数据可以包括来自传感器的传感器信号，该传感器诸如例如是视频、雷达、LiDAR、超声波、运动、成像相机等等。传感器数据可以包括来自多个传感器形式的传感器信号，例如，图像和雷达传感器信号。测量传感器数据可以包括音频数据。
测量传感器数据和合成传感器数据可以包括指示多个传感器值的多个值。例如，像图像中的像素一样的数据，或者像音频中的样本一样的数据等等。多个子集可以对应于多个像素。例如，如果所述值对应于测量传感器数据或合成传感器数据，则局部区分信息可以指示多个值。例如，在图像的情况下，局部区分信息可以包括逐像素信息，其指示像素看起来是否是测量传感器数据。但是，局部区分信息可以具有比鉴别器输入更低的分辨率。例如，局部区分信息可以指示每n个像素，例如，每4个或16个像素等。例如，局部区分信息可以对应于图像上的棋盘图案。除了局部区分信息之外，还可以输出全局决策。
例如，如果所述子集对应于测量传感器数据或合成传感器数据，则可以针对正确指示鉴别器输入数据的多个子集的局部区分信息来优化鉴别器网络。局部区分信息可以例如包括对应于多个子集的多个值。例如，值0可以指示合成传感器数据，而值1可以指示测量传感器数据。
例如，有时可以向鉴别器网络提供测量传感器数据，在这种情况下，所有多个子集的所有局部区分信息应当指示该部分是测量传感器数据。例如，有时可以向鉴别器网络提供合成传感器数据，在这种情况下，所有多个子集的所有局部区分信息应当指示该部分是合成传感器数据。
还可以通过在由部分测量传感器数据和部分合成传感器数据组成的鉴别器输入上训练鉴别器网络来改善对鉴别器网络的训练以提供强的局部区分信息。例如，人们可以通过从测量传感器数据中获得一部分组成的传感器数据（composed sensor data），并且从合成传感器数据中获得一部分（例如，剩余部分）来获得组成的传感器数据。人们可以将多个测量传感器数据和/或合成传感器数据进行组合。鉴别器网络的输出在应用于组成的传感器数据时应当与组成相对应；例如，局部区分信息应当指示鉴别器输入的哪个部分（例如，像素或样本）是从测量传感器数据获得的，以及哪个部分是从合成传感器数据获得的。可以随机生成组成的传感器数据。
在实施例中，取自测量数据或合成数据的部分是连接的和/或凸的部分，例如，矩形。例如，可以将测量数据或合成数据与所谓的CutMix操作进行组合。
在组成的传感器数据上对鉴别器进行训练导致一致性正则化，从而鼓励编码器-解码器鉴别器更多地关注真实图像与虚假图像之间的语义和结构改变，而较少关注保留域（domain-preserving）扰动。此外，这还有助于改善解码器的定位能力。这改善了鉴别器训练，从而进一步增强了所生成的样本的质量。
在使用组成的传感器数据的情况下，输出全局区分信息也是有益的，例如，指示与测量传感器数据相对应的鉴别器输入数据的比例。可以根据组成的图像中的正确比例来训练全局区分信息。
训练鉴别器和/或生成器网络可以使用诸如反向传播之类的常规训练技术，例如，使用在GAN训练中使用的技术，例如，使用诸如ADAM之类的系统。GAN可以是CycleGAN，但这不是必需的。
在实施例中，生成器网络可以被配置成用于域转换任务。例如，生成器网络可以被配置成从第一域接收测量传感器数据作为输入，并且其中，生成器网络被训练成从第二域生成合成传感器数据。这可以被用于许多目的。例如，
-第一域和第二域对应于一天中和/或一年中的不同时间，和/或
-第一域和第二域指示车辆的环境类型，和/或
-第一域和第二域指示传感器数据的类型，和/或
-第一域和第二域指示遮挡或解除遮挡。
例如，为了在难以获得的测试数据（例如，与例如撞车和接近撞车的危险情况相对应的传感器数据）上测试机器可学习模型，可以将生成器应用于测试数据的示例，并且将其转移到不同的域。例如，汽车的类型可能会改变，一天中的时间或一年中的时间可能会改变，等等。因此，在接近碰撞期间（比如说大概在春天的中午）获得的测量传感器数据可以被转换为对应于秋天傍晚的合成传感器数据，但仍然显示出接近碰撞。使用合成传感器数据，可以针对范围更广的接近碰撞来测试机器可学习模型，因此改善其中使用机器可学习模型的自主装置的安全性。
在实施例中，训练集包括用于测量传感器数据的真实数据（ground-truth）类标签。可以将类标签作为附加输入提供给鉴别器网络。例如，鉴别器网络可以是接收类标签作为输入的条件网络。通常，类标签还作为附加输入被提供给生成器网络，例如，以指示生成器网络根据类标签来生成合成传感器数据。然而后者不是必需的，例如，条件鉴别器网络可以与多个无条件生成器网络进行组合。
类标签指示鉴别器输入数据的分类。可以优化鉴别器神经网络以区分鉴别器输入数据是否对应于该分类。例如，可以训练鉴别器网络来区分一方面具有正确类标签的测量传感器数据和合成传感器数据或另一方面具有不正确类标签的测量传感器数据。这也可以在例如逐像素的局部区分信息中指示。
原则上，在任何传感器信号之间都可以实行利用编码器-解码器鉴别器的域转换和数据合成任务。所提出的框架可以被用于数据增强以及域转移任务。然后，所生成的样本可以被用于训练任何数据驱动方法。
类标签还可以被用于为域转换任务所配置的生成器网络。例如，在实施例中，类标签可以向生成器网络指示变换目标。可以存在例如对应于多个域的多个变换目标。可以利用多个域中的一个域来标记训练数据。生成器网络可以被配置成根据变换目标将测量传感器数据变换到域。鉴别器网络可以被配置成根据变换目标确定输入传感器数据是否满足该域。
在实施例中，变换目标可以包括时间差，训练数据利用时间戳进行标记。生成器网络可以被配置成根据时间差将测量传感器数据从第一时间戳变换到第二时间戳。鉴别器网络可以被配置成接收第一传感器数据、第二传感器数据和时间差作为输入，并且确定第一传感器数据和第二传感器数据是否满足该时间差。第一和第二传感器数据中的任何一个可以是合成数据，在这种情况下，可以训练鉴别器网络来拒绝图像。
传感器数据转换的一个有趣应用是遮挡（occlusion）和解除遮挡（desocclusion）。类标签（例如，变换目标）可以指示将被遮挡的对象（例如，移动到另一对象的后面），或者将被解除遮挡的对象（例如，移动到另一对象的前面）。例如，可以将行人移动到树的前面或后面；可以将骑自行车的人移动到汽车的前面或后面，等等。可以训练鉴别器网络来验证对象是否确实被遮挡或解除遮挡。在这种情况下，类标签可以是指示将被遮挡/解除遮挡的对象的图（map）。在实施例中，生成器网络和鉴别器网络接收指示传感器数据中对象的数据，以及接收该对象是将被遮挡还是解除遮挡的指示。
在实施例中，生成器网络和/或鉴别器网络包括：一个或多个神经元，其接收传感器数据的至少一部分以及可选地类标签（例如，变换目标）的至少一部分。例如，生成器网络和/或鉴别器网络可以被布置成接收多个信道作为输入，信道中的至少一个对传感器数据和/或噪声数据进行编码；可选地，信道中的至少一个可以对类标签或变换目标进行编码。例如，生成器网络和/或鉴别器网络可以包括多个层。
鉴别器神经网络可以包括编码器网络，随后是解码器网络。编码器网络可以被配置成接收鉴别器输入数据作为输入，并且解码器网络被配置成接收编码器网络输出作为输入并产生局部区分信息作为输出。在编码器网络与解码器网络之间可能存在瓶颈。该瓶颈可以促进编码网络的正确编码。例如，编码器网络可以被配置成产生全局区分信息作为输出。因此，针对全局区分信息的训练使得编码器网络改善对鉴别器网络输入的编码的正确学习。例如，编码器网络可以被配置成对编码器输入进行下采样以达成编码，例如，全局区分信息。
解码器网络可以接收编码器网络的输出作为输入。编码器网络的输出可以是全局区分信息。解码器网络可以被配置成产生局部区分信息，该信息指示鉴别器输入的哪些部分是真实的，而哪些是合成的。例如，解码器网络可以被配置成对可以包括编码器输出的解码器输入进行上采样。
从编码器网络中的层到鉴别器网络中的层可能存在多个跳接。例如，跳接可以提供以下信息，该信息允许将全局区分信息放大到局部区分信息。
在实施例中，鉴别器网络是U-net。U-net常规地被用于图像分割；例如，分割医学图像中的器官。通过在数据生成领域中的鉴别器中包括U-net，可以训练U-net以指示U-net的哪些部分是测量传感器数据，以及哪些是合成传感器数据。有趣的是，可以适配常规的U-net，使得编码器部分提供全局输出。这提供了可以被用于训练编码器部分的训练信号。
训练生成器网络的方法可以被用于为机器可学习模型生成另外的训练数据的方法。例如，机器可学习模型可以是分类器。例如，机器可学习模型可以被配置成接收测量传感器数据作为输入，并且生成测量传感器数据的分类作为输出。例如，测量传感器数据可以是利用图像传感器拍摄的图像。例如，图像可以是生产的零件，而分类可以是零件是否有缺陷的情况。例如，测量传感器数据可以是在自主装置的环境中拍摄的图像，而分类可以指示是否存在危险情况。机器可学习模型也可以是神经网络，但这不是必需的。机器可学习模型可以使用其他技术，例如，SVM、随机森林等等。另外的训练数据可以被用于训练，但是也可以或代替地被用于测试。
例如，该方法可以包括：获得用于机器可学习模型的初始训练集，该初始训练集包括从传感器获得的测量传感器数据；以及使用该训练方法的实施例从初始训练集训练生成器网络。经训练的生成器网络可以适用于生成另外的训练数据。然后，可以使用另外的训练数据来至少在该另外的训练数据上训练和/或测试机器可学习模型。
另一方面涉及用于训练被配置成生成合成传感器数据的生成器神经网络的训练系统。另外的方面涉及用于被布置成生成合成传感器数据的生成器神经网络的生成器系统。另外的方面涉及自主装置，例如，自主车辆。例如，自主装置可以是计算机控制的机器，诸如机器人、车辆、家用电器、电动工具、制造机器。
可以在一个或多个电子设备上实行所述方法和/或系统的实施例。例如，电子设备可以是计算机。
这些方法的实施例可以作为计算机实现的方法在计算机上实现，或者在专用硬件中实现，或者在两者的组合中实现。用于所述方法的实施例的可执行代码可以存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光存储设备、集成电路、服务器、在线软件等。优选地，计算机程序产品包括：存储在计算机可读介质上的非暂时性程序代码，用于在计算机上执行所述程序产品时实行该方法的实施例。
在实施例中，计算机程序包括：在计算机上运行计算机程序时被适配成实行该方法的实施例的全部或部分步骤的计算机程序代码。优选地，计算机程序体现在计算机可读介质上。
本公开主题的另一方面是使计算机程序可用于下载的方法。
附图说明
参照附图，仅通过示例的方式来描述另外的细节、方面和实施例。出于简单和清楚，图示了图中的元件，并且图中的元件不一定按比例绘制。在图中，与已经描述的元件相对应的元件可以具有相同的附图标记。在附图中，
图1a示意性地示出了生成器神经网络和鉴别器神经网络的实施例的示例，
图1b示意性地示出了生成器神经网络的实施例的示例，
图1c示意性地示出了鉴别器神经网络的实施例的示例，
图2a示意性地示出了训练系统的实施例的示例，
图2b示意性地示出了生成器系统的实施例的示例，
图2c示意性地示出了训练系统的实施例的示例，
图3示意性地示出了训练方法的实施例的示例，
图4示意性地示出了训练系统的实施例的示例，
图5示意性地示出了训练方法的实施例中数据的实施例的示例，
图6示意性地示出了训练方法的实施例中数据的实施例的示例，
图7a示意性地示出了具有包括根据实施例的计算机程序的可写部分的计算机可读介质，
图7b示意性地示出了根据实施例的处理器系统的表示，
图8示意性地示出了训练系统的实施例的示例。
图1a-2c、4-8中的附图标记的列表：
下列标记和缩略语的列表是为了便于解释附图而提供的，并且不应被解释为限制权利要求。
100 生成式对抗网络（GAN）
110 生成器神经网络
120 编码器部分
130 处理部分
140 解码器部分
141 合成传感器数据
151 生成器神经网络输入
152 类标签
160 鉴别器神经网络
161 鉴别器神经网络输入
162 类标签
163 局部区分信息
164 全局区分信息
172 编码器部分
174 解码器部分
175 跳接
200 训练系统
210 优化器
220 生成器单元
230 鉴别器单元
240 训练集存储装置
250 生成器系统
252 输入单元
254 输出单元
260 训练系统
263 处理器系统
264 存储器
265 通信接口
401 测量传感器数据
402 合成传感器数据
501 测量传感器数据
502 合成传感器数据
511，512 掩膜
521，522 目标全局区分数据
531，532 组成的传感器数据
541，542 局部区分数据
551，552 全局区分数据
800 环境
810 汽车
810’ 自主汽车
820 传感器系统
822 控制器
812 行人
830 第一训练数据库
832 第二训练数据库
840 训练系统
842 生成器系统
850 机器学习系统
852 分类器
1000 计算机可读介质
1010 可写部分
1020 计算机程序
1110 （一个或多个）集成电路
1120 处理单元
1122 存储器
1124 专用集成电路
1126 通信元件
1130 互连
1140 处理器系统。
具体实施方式
虽然本公开的主题可以有采用许多不同形式的实施例，在附图中示出并且在本文中将详细描述一个或多个具体实施例，具有的理解是，本公开将被视为本公开主题的原理的示例，而不旨在将其局限于所示和所述具体实施例。
在下文中，为了理解起见，在操作中描述实施例的元件。然而，将显而易见的是，各个元件被布置成实行被描述为由它们实行的功能。
另外，当前公开的主题不仅限于实施例，而且还包括本文中所述的或在相互不同的从属权利要求中叙述的特征的每个其他组合。
图1a示意性地示出了生成器神经网络110和鉴别器神经网络160的实施例的示例。生成器神经网络110和鉴别器神经网络160作为GAN 100一起训练。
生成器神经网络110被配置成接收生成器神经网络输入151并产生合成传感器数据141。生成器神经网络输入151可以包括可以被用于生成新的合成传感器数据的随机元素，例如，噪声，例如噪声向量。
生成器神经网络110可以被配置成接收附加输入：类标签152，但这是可选的。类标签152指示合成传感器数据141的期望属性，例如，期望域。可能存在多于一个类标签。输入152是可选的。
生成器神经网络输入151可以包括测量传感器数据；生成器神经网络110可以被配置成用于转换任务，例如，域转换。例如，生成器神经网络输入151可以被配置成生成合成传感器数据，像生成器神经网络输入151一样，但是在不同的域中。对于域转换任务，可以在训练期间使用某种周期正则化。可以通过使用多个生成器网络或通过将生成器神经网络配置为条件神经网络来获得周期正则化，例如，其中，类标签指示期望的域转移。不过，CycleGan并不是必需的。
生成器网络110可以被用来生成合成传感器数据141。可以优化生成器网络，使得所生成的合成传感器数据141通过鉴别器网络160无法与测量传感器数据区分。例如，就鉴别器网络160而言，可以区分合成传感器数据141就好像它是从测量传感器数据中抽取的一样。
鉴别器神经网络160被优化以区分测量传感器数据和合成传感器数据。鉴别器神经网络160可以被配置成接收鉴别器神经网络输入161。例如，鉴别器神经网络输入161可以包括测量传感器数据，例如，从传感器获得的传感器数据。在这种情况下，鉴别器神经网络160可以将鉴别器神经网络输入161区分为测量传感器数据。例如，鉴别器神经网络输入161可以包括合成传感器数据，例如，合成传感器数据141。在这种情况下，鉴别器神经网络160可以将鉴别器神经网络输入161区分为合成的。
例如，鉴别器神经网络输入161可以包括由真实数据（例如，测量传感器数据）和虚假数据（例如，合成传感器数据）合成的数据。在这种情况下，鉴别器神经网络160可以将鉴别器神经网络输入161区分为部分是测量传感器数据以及部分是合成传感器数据。
鉴别器网络160被配置成产生局部区分信息163作为输出。如果所述子集对应于测量传感器数据或合成传感器数据，则局部区分信息指示鉴别器输入数据的多个子集。例如，鉴别器输入可以被划分成多个子集，并且局部区分信息163可以针对每个子集指示它是测量传感器数据还是合成传感器数据。例如，鉴别器输入可以被划分成其单独的像素或样本；因此，局部区分信息可以在每个像素或每个样本的基础上指示哪些似乎是测量传感器数据，而哪些不是。
可选地，鉴别器网络160可以被配置成接收附加输入：类标签162。在使用类标签162的情况下，鉴别器网络可以附加地验证鉴别器输入161是否根据该类标签。例如，在鉴别器输入161既是测量传感器数据又是根据类标签的情况下，鉴别器网络160可以仅输出为真（is-real）输出。这也可以在每个子集的基础上来指示。
可选地，鉴别器网络160可以被配置成产生全局区分信息164。例如，全局区分信息164可以指示多少量，例如，出现测量传感器数据的鉴别器输入161部分的大小，以及似乎是合成传感器数据的部分的大小。大小可以是相对的。发现全局区分信息164可以被用作有用的附加训练信号。然而，全局区分信息164是可选的，因为仅通过根据局部区分信息进行训练就可以获得类似的效果。
图1b示意性地示出了生成器神经网络的实施例的示例。在本实施例中，生成器神经网络接收测量传感器数据作为输入151的一部分；这不是必需的，例如，可以代替地或附加地使用噪声。
图1b的生成器网络包括三个部分：编码器部分120、处理部分130和解码器部分140。
编码器部分120被配置成接收输入传感器数据151。编码器部分120可以在其输出处被配置有所谓的瓶颈。处理器部分130接收编码器部分120的输出，解码器部分140可以接收处理部分的输出。可选的类标签151可以包括变换目标，该变换目标将被应用于网络的一个或多个部分。如图1所示，类标签152被提供作为对编码器部分的输入以及作为对处理部分的输入。尽管在图1b中未示出，但是发现将变换目标作为输入也提供给解码器部分140是特别有利的。
在实施例中，类标签可以是对解码器部分140的输入。在实施例中，类标签可以是对解码器部分140以及对编码器部分130的输入。
在实施例中，编码器部分120包括多个卷积层，处理器部分130包括多个残差层，并且解码器部分包括多个卷积层。可以添加各种已知类型的层。例如，在实施例中，编码器部分120包括5个卷积层，处理器部分130包括4个残差层，并且解码器部分包括5个卷积层。网络可以根据期望而更大或更小，或者甚至可以大得多。
图1c示意性地示出了鉴别器神经网络的实施例的示例。图1c的鉴别器网络包括编码器部分172和解码器部分174。
编码器部分172被配置成接收鉴别器输入161以及可选地类标签162（如果有的话）。编码器部分172可以在其输出处被配置有所谓的瓶颈。编码器部分172可以被配置成产生全局区分信息164作为输出。例如，编码器部分172可以是常规的鉴别器网络。可以提供全局区分信息164作为鉴别器网络的输出。由于在训练期间已知鉴别器输入161中的多少是测量的以及多少是合成的，因此可获得真实数据值，并且因此全局区分信息164可以被用作附加的训练信号，例如，来训练编码器部分172。
解码器部分174可以接收编码器部分172的输出。可选地，类标签162也可以由解码器部分174接收。在实施例中，编码器部分172和解码器部分174可以包括多个卷积层等。解码器部分174被配置成产生局部区分信息163作为输出。局部区分信息163提供关于鉴别器输入161的哪些部分看起来真实而哪些部分看起来不真实的更详细的信息。解码器网络的各层可以接收编码器输入中对应层的输入，例如，所谓的跳接175。因此，解码器中的层有权以可比较的分辨率（例如，相同的分辨率）访问编码器中的信息。
图2a示意性地示出了训练系统200的实施例的示例。训练系统200被配置成用于训练生成器神经网络，该生成器神经网络被布置成将测量传感器数据变换成合成传感器数据。例如，系统200可以包括被配置成用于应用生成器神经网络的生成器单元220，以及被配置成用于应用鉴别器神经网络的鉴别器单元230。例如，生成器单元220和/或鉴别器单元230可以包括用于存储各个神经网络的参数的存储装置。例如，生成器单元220和/或鉴别器单元230可以被配置成接收网络输入，根据神经网络类型应用输入和参数，并且在输出上提供网络结果。
系统200包括优化器210。优化器210被配置成将生成器网络和鉴别器神经网络一起训练。生成器网络被优化以生成合成传感器数据，并且鉴别器网络被优化以区分测量传感器数据和合成传感器数据。为了训练这两个神经网络，优化器210有权访问例如存储在训练集存储装置240中的训练集。该训练集包括测量传感器数据。传感器数据可以是图像数据，例如图像，但是可以代替地或附加地包括各种各样的数据，例如，雷达数据、超声波传感器数据等。在实施例中，可以从被配置成产生表征传感器环境的二维数据的传感器获得传感器数据。可以在机器中采用传感器。在实施例中，至少部分或全部传感器测量结果具有域信息和/或传感器时间信息，该域信息和/或传感器时间信息指示条件（例如，环境或环境类型）所在的域和/或获得传感器数据的时间。
传感器数据可以是关联传感器数据的倍数，可能具有不同的传感器形式。例如，在自主车辆的示例中，一个传感器数据项可以包括图像、雷达和其他传感器数据中的一个或多个，通常是从多个传感器记录的并发数据。例如，系统200可以包括用于访问训练集的通信接口。可以测量传感器数据，例如，如从传感器接收的数据，例如，真实的或真的；或者可以生成传感器数据，例如，如由生成器单元生成的数据，例如，虚假的。
一旦生成器网络被充分训练，例如，在收敛之后或在耗尽训练数据之后，或在预设数目的训练迭代之后，就可以在应用中使用生成器网络，通常无需对应的鉴别器网络。例如，图2b示意性地示出了生成器系统250的实施例的示例。生成器系统250被配置成应用生成器神经网络，诸如由系统200训练的生成器神经网络，例如，生成器单元220的生成器神经网络。因此，生成器系统250被布置成生成合成传感器数据。系统250可以包括输入单元252。输入单元252可以被配置成用于例如在域转移任务的情况下接收测量传感器数据作为输入。输入单元252可以被配置成用于例如在生成任务的情况下接收噪声分量。输入单元252也可以被配置成用于噪声和传感器数据两者。输入单元252还可以被用来接收不是被测量而是被生成的传感器数据。在生成合成传感器数据之后，可以将所生成的输出传感器数据放在例如所传送的输出254上。例如，系统250可以包括用于接收和/或传送传感器数据的通信接口。
系统250包括生成器系统220，该生成器系统220被配置成将经训练的生成器网络应用于所接收的输入的测量传感器数据。通常，系统250被配置成实行另外的任务。例如，系统250可以被配置成增加用于另外的神经网络（例如，用于分类器）的另外的训练数据。系统250和系统200可以是相同的系统，或者它们可以不是相同的系统。系统200和/或250可以是单个设备或者可以包括多个设备。
系统200和/或250可以通过计算机网络彼此通信或与外部存储装置或输入设备或输出设备通信。计算机网络可以是互联网、内联网、LAN、WLAN等。计算机网络可以是互联网。系统包括：连接接口，其被布置成根据需要在系统内或系统外进行通信。例如，连接接口可以包括连接器，例如，有线连接器（例如，以太网连接器、光连接器等），或者无线连接器（例如，天线，例如，Wi-Fi、4G或5G天线等）。
系统200和250的执行在处理器系统（例如，一个或多个处理器电路）中得以实现，在本文中示出了处理器系统的示例。图1a、1b、1c、2a和2b示出了可以是处理器系统的功能单元的功能单元。例如，图1a-2b可以被用作处理器系统的可能功能组织的蓝图。在这些图中，（一个或多个）处理器电路未与单元分开示出。例如，图1a-2b所示的功能单元可以全部或部分地以计算机指令来实现，该计算机指令存储在系统200和250处，例如，存储在系统200和250的电子存储器中，并且可由系统200和250的微处理器执行。在混合实施例中，功能单元部分地以硬件来实现，例如，作为协处理器（例如，神经网络协处理器），并且部分地以在系统200和250上存储并执行的软件来实现。网络的参数和/或训练数据可以本地存储在例如系统200和250处，或者可以存储在云存储中。
图2c示意性地示出了训练系统260的实施例的示例。训练系统260可以包括处理器系统263、存储器264和通信接口265。例如，系统200的执行在处理器系统（例如，一个或多个处理器电路，例如，微处理器）中得以实现，在本文中示出了处理器系统的示例。网络的参数和/或训练数据可以本地存储在系统260处，或者可以存储在云存储中。
图3示意性地示出了训练方法300的实施例的示例。方法300是用于训练被配置成生成合成传感器数据的生成器神经网络的训练方法。方法300包括
-访问（310）从传感器获得的测量传感器数据的训练集，
-将生成器神经网络和鉴别器神经网络一起训练（320），该训练包括
-使用生成器神经网络生成（330）合成传感器数据，
-优化（340）鉴别器网络以区分测量传感器数据和合成传感器数据，
-优化（350）生成器网络以生成鉴别器网络无法将其与测量传感器数据区分开的合成传感器数据，其中
-鉴别器网络被配置成接收（360）包括合成传感器数据和/或测量传感器数据的鉴别器输入数据，并且产生（370）局部区分信息作为输出，如果所述子集对应于测量传感器数据或合成传感器数据，则局部区分信息指示鉴别器输入数据的多个子集。
在系统100、200和250的各种实施例中，可以从各种替换方案中选择一个或多个通信接口。例如，接口可以是到局域网或广域网（例如，互联网）的网络接口、到内部或外部数据存储装置的存储接口、键盘、应用接口（API）等。
系统100、200和250可以具有用户接口，其可以包括公知的元件，诸如一个或多个按钮、键盘、显示器、触摸屏等。用户接口可以被布置成用于适应用于配置系统、在训练集上训练网络或将系统应用于新传感器数据等的用户交互。
存储装置可以被实现为电子存储器（比如说闪速存储器），或磁存储器（比如说硬盘等等）。存储装置可以包括一起构成存储装置（例如，存储装置264、240等）的多个分立的存储器。存储装置可以包括暂时性存储器，比如说RAM。存储装置可以是云存储。
系统100、200或250可以在单个设备中实现。通常，系统100、200和250均包括微处理器，其执行存储在系统处的适当软件；例如，该软件可能已经下载和/或存储在对应的存储器中，例如，易失性存储器（诸如RAM）或非易失性存储器（诸如闪存）。替换地，系统可以全部地或部分地以可编程逻辑的形式实现，例如，作为现场可编程门阵列（FPGA）。系统可以全部地或部分地被实现为所谓的专用集成电路（ASIC），例如，针对其特定用途而定制的集成电路（IC）。例如，电路可以例如使用诸如Verilog、VHDL等的硬件描述语言以CMOS的形式来实现。特别地，系统100、200和250可以包括用于评估神经网络的电路。
处理器电路可以以分布式方式实现，例如，作为多个子处理器电路。存储装置可以分布在多个分布式子存储装置上。存储器的部分或全部可以是电子存储器、磁存储器等。例如，存储装置可以具有易失性部分和非易失性部分。部分存储装置可能是只读的。
下面例示了几个另外的可选改进方案、细节和实施例。下面假设测量传感器数据和合成传感器数据包括图像。然而，这不是必需的，代替于图像传感器，可以使用另一类型的传感器来获得测量传感器数据；除了图像传感器之外，还可以使用这样的不同传感器数据。
除了可以通过将局部区分信息与鉴别器输入161中的对应子集进行比较来获得附加训练信号之外，GAN 100和训练系统200可以部分地使用常规的训练技术。
例如，在不使用局部区分信息的常规GAN训练系统中，人们可以通过例如以交替的方式使以下竞争目标最小化来训练两个网络：生成器G和鉴别器D：
Figure 489540DEST_PATH_IMAGE002
G旨在将从先验分布中采样的潜变量z〜p（z）映射到看上去逼真的图像，例如，像测量传感器数据一样，而D旨在区分真实的x图像和生成的G（z）图像，例如，区分测量传感器数据和合成传感器数据。通常地，G和D可以分别被建模为解码器和编码器卷积网络。例如，鉴别器可以输出1到0之间的值，以指示输入看起来有多么真实。
在实施例中，鉴别器D可以被实现为编码器和解码器的组合，例如，被实现为所谓的U-Net。例如，编码器部分可以被实现为已知鉴别器，例如，通过将已知鉴别器分类网络的构建块重复用作编码器部分。可以通过重复使用来自已知生成器网络的构建块来构建解码器部分。
换句话说，在实施例中，鉴别器不但包括下采样网络而且包括上采样网络。使用解码器部分或上采样部分的优点在于，与在仅使用下采样或编码器网络的情况下将输出的内容相比，鉴别器网络会产生具有更高分辨率的输出信号。特别地，鉴别器甚至可以在逐像素的水平上就合成传感器数据的质量给出局部反馈。局部区分信息的分辨率可以与合成传感器数据的分辨率相同，但是代替地可以更低。
下采样网络和上采样网络可以经由瓶颈以及跳接来连接，该跳接从编码器和解码器模块复制和连结特征图。我们将把这个鉴别器称为D U 。虽然常规的鉴别器D（x）将鉴别器输入图像x分类成是真实的或虚假的，但是鉴别器D U （x）的实施例可以附加地在逐像素的基础上实行此分类，将图像x划分为真实区域和虚假区域；此外，鉴别器仍可以例如从编码器给出x的全局图像分类。图4示意性地示出了训练系统的实施例的示例。图4所示的鉴别器包括：编码或下采样部分172，其可以产生全局区分信息164；以及上采样部分174，其获取全局区分信息164并将其上采样到局部区分信息163。全局区分信息164可以用作瓶颈，其可以被用来训练编码器。
图4中还示出了生成器网络110，其接收生成器输入151，该生成器输入151可以包括随机分量（例如，噪声向量）和/或传感器数据（通常是测量传感器数据）。图4所示的是鉴别器输入172接收测量传感器数据401（在本例中为人的图像）或合成传感器数据402（例如，生成器网络110的输出）。如下所示，可以通过将传感器数据401和402进行组合来改善训练信号。解码器部分174不仅接收将要被放大的全局区分信息作为输入，而且接收跳接175，其提供来自编码器部分中层的信息。
跳接175优选地连接具有相同或相似分辨率的层。例如，可以将编码器172的层i连接到层
Figure 301900DEST_PATH_IMAGE003
，其中f是递增函数，并且n表示解码器174的层数。如果层数是相同的，则人们可以使用f的身份（identity）。因此，解码器174的一个或多个层不仅可以接收解码器174的前一层的输出作为输入，而且可以接收编码器172中对应层的输出或输入。
鉴别器学习真实图像与虚假图像之间的全局和局部差异二者，这是通过使用全局和局部输出二者得到帮助的内容。此后，我们将鉴别器的编码器模块称为D enc U ，并且将解码器模块称为D dec U 。可以通过根据D enc U 和D dec U 两者做出决策来计算用于在训练时使用的鉴别器损失，例如：
Figure 900372DEST_PATH_IMAGE004
（2）
编码器的损失L Denc U 可以根据
Figure DEST_PATH_IMAGE005
的标量输出来计算。例如，人们可以使用：
Figure 622734DEST_PATH_IMAGE006
解码器的损失L Denc U可以被计算为相对于所有子集（例如，像素）的平均决策：
Figure 835409DEST_PATH_IMAGE007
（4）。
在这里，
Figure 305705DEST_PATH_IMAGE008
和
Figure 894818DEST_PATH_IMAGE009
指代像素（i，j）处的鉴别器判定。在实施例中，D dec U 的逐像素输出是基于来自高级特征的全局信息（通过从瓶颈进行上采样的过程使得能够实现的）以及来自低级特征的更多局部信息（由来自编码器网络的中间层的跳接调解）导出的。注意到，用于鉴别器的编码器/解码器架构不是严格必需的。代替地，比如说可以使用包括多个卷积层的单片鉴别器架构。编码器/解码器架构的优点是，全局区分信息可以被用作附加的训练信号。
作为生成器目标，人们可以使用：
Figure 19156DEST_PATH_IMAGE010
（5）
该损失函数鼓励生成器在合成图像时同时关注全局结构和局部细节，以便欺骗更强大的鉴别器D U 。诸如本文中所建议的损失函数之类的损失函数可以被用于例如使用GAN风格的反向传播的其他常规的训练系统，例如，ADAM。例如，在实施例中，鉴别器训练（1）一次或多次迭代，继之以生成器训练（2）一次或多次迭代。可以重复阶段（1）和（2），直到收敛，或者直到设定数目的迭代等为止。例如，可以重复地应用生成器来获得合成传感器数据，并且鉴别器可以重复地应用于测量传感器数据或合成传感器数据或合成体。在鉴别器训练期间，可以优化（例如，减少）鉴别器的损失。在生成器训练期间，可以优化（例如，减少）生成器的损失。
为了进一步改善训练，可以引入一致性正则化来更好地训练鉴别器。这导致来自鉴别器的较高质量的反馈信号，进而导致更好的生成器神经网络。在图像的任何类域更改（class-domain-altering）变换下，训练有素的D U 鉴别器的局部区分信息（例如，逐像素决策）应该是等变化的。然而，神经网络的结构并不能保证这一属性。
为了获得这样的等变性，可以对鉴别器进行正则化，使其更多地关注真实数据与虚假数据之间的语义和结构变化，而较少关注任意的类域保留（class-domain-preserving）扰动。因此，我们提出了鉴别器的一致性正则化，明确鼓励解码器模块D dec U 为组成的传感器数据输出等变化预测。例如，组成传感器数据（例如，图像）的一种方法是从不同类图像（例如，真实和虚假的图像）中剪切和粘贴块（patch）。例如，变换可以是所谓的真实样本和虚假样本的CutMix变换。在GAN训练的上下文中，CutMix的优点在于，它不更改被用于混合、保留它们的原始类域的真实和虚假图像块，并且提供了各种各样的可能输出。我们将图5中的CutMix增强策略和D U 预测可视化。
图5示意性地示出了训练方法的实施例中数据的实施例的示例。图5示出了CutMix正则化的示意性可视化以及在CutMix图像上的鉴别器（在本例中为U-net）的实施例的预测。
图5的第一行示出了真实图像501（例如，测量传感器数据）以及虚假图像502（例如，合成传感器数据）。第二行示出了二值掩膜M，其可以被用于CutMix操作。在图5的这一行中，白色被用于真实的，而黑色被用于虚假的。掩膜511将在经变换的图像中主要引起虚假图像，而掩膜512将主要引起真实图像。对应的目标全局区分得分c如下所示。0.28的目标521指示掩膜511的大部分是黑色的；而0.68的目标522指示掩膜512的大部分是白色的。对鉴别器进行训练，以便使全局区分信息与目标得分c相匹配。
第四行示意性地示出了组成的传感器数据，在本例中为来自真实样本和虚假样本的CutMix图像。例如，图像531可以通过从由掩膜511指示的虚假图像502中取一部分并且从由掩膜511指示的真实图像501中取一部分而获得。例如，图像532可以通过从由掩膜512指示的虚假图像502中取一部分并且从由掩膜512指示的真实图像502中取一部分而获得。例如，如果图像是从车辆的环境（例如，街道场景）中拍摄的图像，则组成的图像531和532可以部分地示出逼真的街道场景，并且部分地示出所生成的看上去不怎么逼真的街道场景。这同样适用于可能有或可能没有生产缺陷的产品，例如，货物。组成的传感器数据可以示出产品，但是其一部分对应于测量传感器数据（例如，产品在生产线上滚动时的图像，而其中另一部分则是合成的。
第五行示出了鉴别器D U 的对应真实/虚假分割图，其中在该图下面是其预测的全局区分得分。注意到，全局区分得分551接近于目标521，并且全局区分得分552接近于目标522。
局部鉴别器输出541和542使用较深的灰度来指示可能的合成传感器数据，并且使用较浅的灰度来指示可能的测量传感器数据。在本例中，541和542中的颜色示意性地指示为均匀的，但是在实际数据中，例如，如图6所示，数据将通常是不均匀的，而是较深和较浅的灰色的混合，其指示其中鉴别器或多或少确定该部分是合成传感器数据的区域。
例如，在实施例中，通过将测量传感器数据x和合成传感器数据G(z) ∈ R W×H×C 与掩膜M混合，为鉴别器D U 组成新的训练样本x˜：
Figure 153465DEST_PATH_IMAGE011
其中M ∈ {0,1}W×H是指示像素（i,j）是来自真实图像（Mi,j=1）还是虚假图像（Mi,j=0）的二值掩膜，1是用一填充的二值掩膜，并且
Figure 360325DEST_PATH_IMAGE012
是逐元素乘法。新的合成图像x˜的类标签c∈（0，1）与来自真实图像的像素数成比例地分配，例如，
Figure 956391DEST_PATH_IMAGE013
。注意到，对于合成样本x˜，c和M分别是鉴别器DU的编码器和解码器模块的真实数据。在这里，CutMix运算符适用于纯粹所生成的合成传感器数据，但同样适用于通过域转移测量传感器数据所获得的合成数据。
给定CutMix操作（例如，诸如以上操作），人们可以通过在鉴别器目标中引入一致性正则化损失项来训练鉴别器以提供一致的逐像素预测，例如，
Figure 214197DEST_PATH_IMAGE014
mix
Figure 112883DEST_PATH_IMAGE015
：
Figure 72618DEST_PATH_IMAGE016
其中||•||表示范数，诸如L 2 范数。然后，可以在CutMix图像上
Figure 816583DEST_PATH_IMAGE017
的逐像素输出与真实图像和虚假图像上
Figure 132158DEST_PATH_IMAGE018
的输出之间的CutMix之间取得这种一致性损失，从而使鉴别器因预测不一致而受到惩罚。
可以将等式7中的损失项包含（例如，添加）到等式2中的鉴别器目标，有可能具有加权超参数λ：
Figure 188363DEST_PATH_IMAGE019
（8）
超参数λ可以例如等于1。生成器目标LG可能保持不变，参见等式5。在实施例中，对于U-Net GAN，可以使用非饱和GAN目标制定（formulation）。
引入的一致性正则化以及鉴别器的U-Net架构可以与生成器和鉴别器的任何其他对抗性损失进行组合。
图6示意性地示出了训练方法的实施例中数据的实施例的示例。从左到右示出了从训练的稍后阶段获得的图像。顶行示出了由生成器网络生成的合成传感器数据。底行示出了对应的局部区分信息。训练数据包括一组人的图像。优化生成器网络以生成似乎是从相同分布中抽取的图像。在顶行中，人们可以看到，随着训练进行，图像似乎更逼真。在底行中示出了鉴别器输出，可以看出，随着训练进行，鉴别器输出变成越来越浅的灰色，这指示鉴别器认为该图像很可能是测量传感器数据。例如，在前两幅图像中，头部的左上方似乎并不逼真，这反映在局部区分信息左上方的深色块中。
示例图像是从使用U-Net类型鉴别器网络的实施例中获得的。合成图像样本是从不同训练迭代下的固定噪声向量中获得的。较亮的颜色对应于真实的像素的鉴别器置信度（而较暗的颜色为虚假的像素的鉴别器置信度）。注意到，U-Net鉴别器向生成器提供非常详细且空间上连贯的响应，从而使得其能够进一步改善图像质量，例如，鉴别器将不自然的大个子男人的额头识别为虚假的，并且在整个训练期间由生成器进行校正。
实施例可以在GAN模型中被用于数据合成和数据增强。当收集附加数据很昂贵或在法律上不可能时，它的使用就会特别有利。在自主驾驶的上下文中，这包括极端情况，比如涉及行人的危险地操纵车辆或近撞情况。
例如，方法（例如，训练方法）可以是计算机实现的方法。例如，可以使用通信接口（例如，电子接口、网络接口、存储器接口等）来完成访问训练数据和/或接收输入数据。例如，可以从电子存储装置（例如，存储器、硬盘驱动器等）中完成存储或检索参数，例如，网络的参数。例如，可以使用电子计算设备（例如，计算机）来完成对训练数据中的数据应用神经网络，和/或调整所存储的参数以训练网络。
在训练期间和/或应用期间，神经网络可以具有多个层，其可以包括例如卷积层等等。例如，神经网络可以具有至少2、5、10、15、20或40个隐藏层或更多个等。神经网络中神经元的数目可以例如为至少10、100、1000、10000、100000、1000000或更多个等。
如对于本领域技术人员而言将是显而易见的，执行该方法的许多不同方式是可能的。例如，可以按照所示次序实行步骤的次序，但是可以改变步骤的次序或者可以并行执行一些步骤。此外，可以在步骤之间插入其他方法步骤。插入的步骤可以表示诸如本文中所述的方法的改进，或者可以与该方法无关。例如，可以并行地至少部分地执行一些步骤。此外，在下一步骤开始之前，给定步骤可能尚未完全完成。
该方法的实施例可以使用软件来执行，该软件包括用于使处理器系统实行该方法（例如，方法300）的指令。软件可能仅包括系统的特定子实体所采取的那些步骤。软件可以存储在合适的存储介质中，诸如硬盘、软盘、存储器、光盘等。软件可以作为信号沿着有线、或无线或者使用数据网络（例如，互联网）发送。可以使软件可用于下载和/或用于在服务器上远程使用。可以使用被布置成配置可编程逻辑（例如，现场可编程门阵列（FPGA））以实行方法的位流来执行该方法的实施例。
下面讨论了特定的详细实施例，它建立在最先进的BigGAN模型基础上，并且扩展了其鉴别器。有关BigGAN的详细信息，请参阅Andrew Brock，Jeff Donahue和KarenSimonyan的“用于高保真自然图像合成的大规模GAN训练”（在2019年国际学习表征会议（ICLR）中），并且通过引用包含在本文中并被称为“BigGAN”。
在实施例中，对于256×256和128×128分辨率，采用BigGAN生成器和鉴别器架构，其中信道乘数ch＝64。原始BigGAN鉴别器将输入图像下采样为尺寸为16ch×4×4的特征图，在该特征图上应用全局和池化（global sum pooling）以得到被分类为真实或虚假的16ch维特征向量。在实施例中，通过复制生成器架构并且将其附加到鉴别器的4×4输出来修改BigGAN鉴别器。在该实施例中，经由ResNet块连续地对特征进行上采样，直到达到原始图像分辨率（H×W）。另外，对每个解码器ResNet块的输入都与共享相同中间分辨率的编码器块的输出特征连结起来。以这种方式，在输出特征图的过程中将高级和低级信息集成在一起。在该实施例中，解码器架构几乎与生成器相同，除了将最终输出的信道数从3改变为ch，附加1×1卷积的最终块以产生1×H×W输出图之外；解码器中没有使用任何类条件的BatchNorm。利用到U-Net编码器和解码器输出的ch维信道特征的投影将类信息提供给DU。与BigGAN不同，发现不使用分层的潜在空间，而是将相同的输入向量z直接馈送到生成器中每一层处的BatchNorm是有益的。另外，还发现，在编码器和解码器两者中移除自注意力层是有益的；实验表明，它们对性能没有贡献，还会导致内存开销。
还对无条件实施例实行了实验。注意到，原始BigGAN是类条件模型。对于无条件模型，将类条件BatchNorm替换为自调制，其中，BatchNorm参数仅以潜在向量z为条件，并且不使用鉴别器中的类投影。在该实施例中，这些修改提供了双头式鉴别器。虽然每个解码器头已经足以训练网络，但我们发现利用相等的权重计算两个头处的GAN损失是有益的。可以保持铰链损失。在解码器输出空间中也采用一致性正则化的模型受益于使用非饱和损失。
在训练过程中，对于每次迭代，利用概率r mix 创建一小批CutMix图像（x~；c；M）。该概率在前n个历元（epoch）之间从0线性增加到0.5，以便给生成器时间来学习如何合成看上去更真实的样本，并且从一开始就不给鉴别器过多功率。使用二进制掩膜M从小批量中现有的真实图像和虚假图像创建CutMix图像。对于采样M，我们使用原始的CutMix实现方式：首先从均匀分布（0，1）中对真实图像与所生成的图像之间的组合比率c进行采样，然后对x和G （z）的裁剪区域的边界框坐标进行均匀采样以保存c比率。二值掩膜M还表示解码器D dec U 的目标，并且对于编码器D enc U ，我们使用软目标c——M中1s的分数。我们将加权参数λ设置为1。注意到，在训练过程中，一致性正则化不会强加很多开销。额外的计算成本仅来自在鉴别器更新其参数的同时，通过鉴别器来馈送附加的CutMix图像。
可以采取BigGAN的原始训练参数。特别地，人们可以使用[-1，1]140中均匀分布的噪声向量z作为对生成器的输入，并且对于G和DU使用具有学习速率为1e-4和5e-4的Adam优化器。在实验中发现，以比BigGAN小得多的小批量大小（例如，20到50之间的批量大小）进行操作是有益的。
图8示意性地示出了训练方法840的实施例的示例。
图8示出了位于环境800（例如，交通状况）中的自主装置，在本例中为自主汽车810'。在环境800中，可能存在会影响可以如何控制装置810的各种静态和动态对象。相似的装置（在本例中为汽车810）可以被用来获得测量传感器数据。例如，图8所示的是行人812横穿汽车810后面的环境。装置810可以是自主的，但不需要是自主的。除了控制器822中的更新之外，装置810和810'可以是相同的。
汽车810可以包括传感器系统820，例如，包括一个或多个图像传感器、雷达、激光雷达等等，用以感测汽车的环境，例如，环境800。例如，传感器系统820可以被配置成产生包括关于环境800的信息的测量传感器数据。汽车810可以包括一个或多个致动器，以使汽车移动通过环境800，例如，车轮和发动机。
从传感器系统820获得的传感器数据可以存储在第一训练数据库830中。例如，被配置成用于训练生成器神经网络的训练方法的实施例的训练系统840可以被配置成训练生成器以生成似乎是从第一训练数据库830中抽取的合成传感器数据。训练系统可以被配置成从第一数据库830获得初始训练集，并且从初始训练集训练生成器网络。例如，训练系统840可以产生用于在生成器系统842中使用的生成器网络。生成器系统842可以被用来生成附加的传感器数据，例如，合成传感器数据。可以将合成传感器数据存储在第二训练数据库832中。第二训练数据库832还可以包括例如取自第一数据库830的原始测量传感器数据。
合成训练数据可以在使用或不使用类标签的情况下生成。例如，可以例如通过装置810、通过传感器820、通过另外的设备（未示出）或通过人来标记第一数据库830中的测量训练数据。类标签可以被用来生成特定种类的合成传感器数据，例如，具有附近行人的合成传感器数据。无条件的生成器神经网络可以被配置成接收测量传感器数据或噪声向量或两者作为输入。而且，有条件的生成器神经网络可以被配置成接收测量传感器数据或噪声向量或两者作为输入。两种类型都可以被训练成用于纯粹生成或用于域转移，或者用于组合，例如，在测量传感器数据的上下文中的生成。
机器学习系统850可以被配置成在第二数据库832中的训练数据上训练机器可学习模型。例如，机器可学习模型可以是分类器。机器可学习模型可以包括神经网络，但这不是必需的；例如，它可以包括SVM、随机森林等等。机器学习系统850可以被配置有与机器可学习模型的类型一致的学习算法，例如，SVM训练或随机森林训练。机器学习系统850可以将合成传感器数据用于训练、用于测试或用于这两者。机器学习系统850产生经训练的分类器852。例如，分类器852可以被配置成根据测量传感器数据对装置环境中的对象进行分类。
分类器852可以包含在用于自主装置810'（例如，比如是汽车810）的控制器中。例如，控制器822可以包括分类器852。控制器822可以被配置成生成控制信号以控制自主装置810'。控制器822可以被配置成至少根据由分类器分类的对象来生成控制信号。例如，如果分类器852将环境800分类为包括像812一样的行人，则把车倒回去是不安全的。控制信号可以被配置成控制致动器，例如，车轮和/或发动机的转动和转向。
将领会到的是，本公开的主题还扩展到计算机程序，特别是载体上或载体中的计算机程序，其适于将本公开的主题付诸实践。程序可以采用源代码、目标代码、代码中间源和目标代码的形式，诸如部分编译的形式，或者采用适合于在该方法的实施例的实现方式中使用的任何其他形式。与计算机程序产品有关的实施例包括：与所阐述方法中的至少一种方法的每一个处理步骤相对应的计算机可执行指令。这些指令可以被细分为子例程和/或被存储在可以静态或动态链接的一个或多个文件中。与计算机程序产品有关的另一实施例包括与所阐述的系统和/或产品中的至少一个的每一个设备、单元和/或部分相对应的计算机可执行指令。
图7a示出了具有包括计算机程序1020的可写部分1010的计算机可读介质1000，该计算机程序1020包括用于使处理器系统实行根据实施例的训练方法的指令。计算机程序1020可以作为物理标记或通过磁化计算机可读介质1000而体现在计算机可读介质1000上。然而，也可以想到任何其他合适的实施例。另外，将领会到的是，虽然计算机可读介质1000在这里被示为光盘，但是计算机可读介质1000可以是任何合适的计算机可读介质，诸如硬盘、固态存储器、闪速存储器等，并且可以是不可记录或者是可记录的。计算机程序1020包括用于使处理器系统实行所述训练方法的指令。
图7b示出了根据训练系统或生成器系统的实施例的处理器系统1140的示意性表示。处理器系统包括一个或多个集成电路1110。在图7b中示意性地示出了一个或多个集成电路1110的架构。电路1110包括处理单元1120（例如，CPU），用于运行计算机程序组件以执行根据实施例的方法和/或实现其模块或单元。电路1110包括用于存储编程代码、数据等的存储器1122。存储器1122的一部分可以是只读的。电路1110可以包括通信元件1126，例如，天线、连接器或两者等等。电路1110可以包括专用集成电路1124，用于实行该方法中定义的部分或全部处理。处理器1120、存储器1122、专用IC 1124和通信元件1126可以经由互连1130（比如说总线）彼此连接。处理器系统1110可以被布置成用于分别使用天线和/或连接器进行接触和/或非接触通信。
例如，在实施例中，处理器系统1140（例如，训练设备）可以包括处理器电路和存储器电路，该处理器被布置成执行存储在存储器电路中的软件。例如，处理器电路可以是Intel Core i7处理器、ARM Cortex-R8等。在实施例中，处理器电路可以是ARM Cortex M0。存储器电路可以是ROM电路，或者是非易失性存储器，例如，闪速存储器。存储器电路可以是易失性存储器，例如，SRAM存储器。在后一种情况下，设备可以包括被布置成用于提供软件的非易失性软件接口，例如，硬盘驱动器、网络接口等。
虽然设备1140被示为包括每个所述组件中的一个，但是在各种实施例中可以复制各种组件。例如，处理器1120可以包括多个微处理器，这些微处理器被配置成独立地执行本文中所述的方法，或者被配置成实行本文中所述方法的步骤或子例程，使得多个处理器进行协作以实现本文中所述的功能。另外，在云计算系统中实现设备1140的情况下，各种硬件组件可以属于单独的物理系统。例如，处理器1120可以包括第一服务器中的第一处理器和第二服务器中的第二处理器。
应当注意到，上述实施例例示而非限制本公开的主题，并且本领域技术人员将能够设计许多替换实施例。
在权利要求中，置于括号内的任何附图标记都不应被解释为限制权利要求。动词“包括”及其词形变化的使用并不排除权利要求中所述之外的元件或步骤的存在。元件前面的冠词“一”或“一个”并不排除存在多个这样的元件。当在元件列表前面时，诸如“……中的至少一个”之类的表达表示从列表中选择所有元件或元件的任何子集。例如，表达“A、B和C中的至少一个”应该被理解为仅包括A、仅包括B、仅包括C、包括A和B两者、包括A和C两者、包括B和C两者或包括A、B和C中的全部。本公开的主题可以通过包括几个不同元件的硬件、以及通过适当编程的计算机来实现。在列举了几个部分的设备权利要求中，这些部分中的几个可以由同一个硬件项来体现。在相互不同的从属权利要求中叙述某些措施仅有事实并不指示这些措施的组合不能被加以利用。
在权利要求中，括号中的参考是指示例性实施例的附图中的附图标记或实施例的公式，因此增加了权利要求的可理解性。这些参考不应被解释为限制权利要求。

Claims (17)

1.一种训练方法（300），用于训练被配置成生成合成传感器数据（141）的生成器神经网络（110；120，130，140），所述方法包括：
-访问（310）从传感器获得的测量传感器数据的训练集（240），
-将生成器神经网络和鉴别器神经网络（160；172，174）一起训练（320），所述训练包括
-使用生成器神经网络生成（330）合成传感器数据，
-优化（340）鉴别器网络以区分测量传感器数据和合成传感器数据，
-优化（350）生成器网络以生成鉴别器网络无法将其与测量传感器数据区分开的合成传感器数据，其中
-鉴别器网络被配置成接收（360）包括合成传感器数据和/或测量传感器数据的鉴别器输入数据，并且产生（370）局部区分信息作为输出，如果所述子集对应于测量传感器数据或合成传感器数据，则局部区分信息指示鉴别器输入数据的多个子集。
2.根据权利要求1所述的训练方法，其中，测量传感器数据包括从图像传感器获得的测量图像；以及其中，合成传感器数据包括合成图像。
3.根据权利要求1或2所述的训练方法，其中，测量传感器数据、合成传感器数据和鉴别器输入数据包括指示多个传感器值的多个值，诸如像素值或样本值，如果所述值对应于测量传感器数据或合成传感器数据，则局部区分信息指示多个值。
4.根据前述权利要求中任一项所述的训练方法，其中
-优化鉴别器网络包括：如果所述子集对应于测量传感器数据或合成传感器数据，则针对正确指示鉴别器输入数据的多个子集的局部区分信息进行优化。
5.根据权利要求4所述的训练方法，其中，鉴别器输入数据是从训练数据获得的部分测量传感器数据和从生成器网络获得的部分合成传感器数据。
6.根据前述权利要求中任一项所述的训练方法，其中
-优化生成器网络包括：针对从合成传感器数据获得的局部区分信息进行优化，所述局部区分信息指示合成传感器数据的多个子集与测量传感器数据相对应。
7.根据前述权利要求中任一项所述的训练方法，其中，鉴别器神经网络被配置成产生全局区分信息作为输出，所述全局区分信息指示与测量传感器数据相对应的鉴别器输入数据的比例。
8.根据前述权利要求中任一项所述的训练方法，其中
-训练集包括用于测量传感器数据的真实数据类标签，并且
-鉴别器网络是接收类标签作为输入的条件网络，所述类标签指示鉴别器输入数据的分类，所述鉴别器神经网络被优化以区分鉴别器输入数据是否与所述分类相对应。
9.根据前述权利要求中任一项所述的训练方法，其中，鉴别器网络包括编码器网络和解码器网络，其中
-编码器网络被配置成接收鉴别器输入数据作为输入，
-解码器网络被配置成接收编码器网络输出作为输入，并且产生局部区分信息作为输出。
10.根据权利要求7和9的组合中所述的训练方法，其中，编码器网络被配置成产生全局区分信息作为输出。
11.根据权利要求9或10中所述的训练方法，其中，编码器网络被配置成对编码器输入进行下采样，以及解码器网络被配置成对解码器输入进行上采样，鉴别器网络包括从编码器网络中的层到鉴别器网络中的层的多个跳接。
12.一种为机器可学习模型生成另外的训练数据的方法，所述方法包括
-获得用于机器可学习模型的初始训练集，所述初始训练集包括从传感器获得的测量传感器数据，
-使用根据权利要求1-11中任一项所述的训练方法，根据初始训练集来训练生成器网络，
-应用经训练的生成器网络以生成另外的训练数据。
13.一种用以训练机器可学习模型的方法，所述方法包括
-获得机器可学习模型的初始训练集，
-根据权利要求12所述的方法，为机器可学习模型生成另外的训练数据，以及
-至少在另外的训练数据上训练和/或测试机器可学习模型。
14.一种训练系统（200；260），用于训练被配置成生成合成传感器数据（141）的生成器神经网络（110；120，130，140），所述系统包括
-用于访问从传感器获得的测量传感器数据的训练集（240）的通信接口，
-处理器系统，其被配置成将生成器网络与鉴别器神经网络（160；172，174）一起训练，其中，鉴别器网络被优化以区分测量传感器数据和合成传感器数据，生成器网络被优化以生成鉴别器网络无法将其与测量传感器数据区分开的合成传感器数据，其中
-鉴别器网络被配置成接收包括合成传感器数据和/或测量传感器数据的鉴别器输入数据，并且产生局部区分信息作为输出，如果所述子集对应于测量传感器数据或合成传感器数据，则局部区分信息指示鉴别器输入数据的多个子集。
15.一种用于被布置成生成合成传感器数据的生成器神经网络的生成器系统，所述系统包括：
-处理器系统，其被布置成应用经训练的生成器网络，其中，生成器网络已经利用权利要求1-11或14中任一项所述的方法或系统进行了训练，
-用于传送或存储合成传感器数据的通信接口。
16.一种自主装置，例如，自主车辆，包括：
-传感器，用于感测装置的环境并且生成测量传感器数据，
-分类器，包括机器可学习模型，所述分类器被训练成根据测量传感器数据对装置的环境中的对象进行分类，
-控制器，其被配置成生成控制信号以控制自主装置，所述控制器被配置成至少根据由分类器进行分类的对象来生成控制信号，
-致动器，其被配置成在控制信号的控制下移动，其中
-机器可学习模型利用根据权利要求13所述的方法进行训练。
17.一种暂时性或非暂时性计算机可读介质（1000），其包括表示指令的数据（1020），所述指令在由处理器系统执行时使处理器系统执行根据权利要求1-13中任一项所述的方法。
CN202110140064.1A 2020-02-03 2021-02-02 利用局部区分信息使用鉴别器来训练生成器神经网络 Pending CN113283458A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20155189.2A EP3859599B1 (en) 2020-02-03 2020-02-03 Training a generator neural network using a discriminator with localized distinguishing information
EP20155189.2 2020-02-03

Publications (1)

Publication Number Publication Date
CN113283458A true CN113283458A (zh) 2021-08-20

Family

ID=69467450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110140064.1A Pending CN113283458A (zh) 2020-02-03 2021-02-02 利用局部区分信息使用鉴别器来训练生成器神经网络

Country Status (3)

Country Link
US (1) US20210237767A1 (zh)
EP (1) EP3859599B1 (zh)
CN (1) CN113283458A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048536A (zh) * 2021-11-18 2022-02-15 重庆邮电大学 一种基于多任务神经网络的道路结构预测与目标检测方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527161B2 (en) * 2020-04-27 2022-12-13 Here Global B.V. Methods and systems for detecting a speed funnel in a region
CN113469929B (zh) * 2021-09-03 2021-12-03 北京美摄网络科技有限公司 训练数据生成方法、装置、电子设备及计算机可读存储介质
CN115809695A (zh) * 2021-09-13 2023-03-17 华为技术有限公司 一种基于物理信息神经网络的模型训练方法及相关装置
US20230150529A1 (en) * 2021-11-16 2023-05-18 Gm Cruise Holdings Llc Dynamic sensor data augmentation via deep learning loop
CN114240950B (zh) * 2021-11-23 2023-04-07 电子科技大学 一种基于深度神经网络的脑部肿瘤图像生成和分割方法
US20230281439A1 (en) * 2022-03-07 2023-09-07 Applied Materials, Inc. Synthetic time series data associated with processing equipment
CN114745233B (zh) * 2022-03-31 2023-03-17 西安科技大学 一种基于导频设计的联合信道估计方法及装置
CN114757342B (zh) * 2022-06-14 2022-09-09 南昌大学 一种基于对抗训练的电子数据信息反取证方法
CN115346068A (zh) * 2022-08-02 2022-11-15 哈尔滨市科佳通用机电股份有限公司 一种铁路货运列车螺栓丢失故障图像自动生成方法
US20240051568A1 (en) * 2022-08-09 2024-02-15 Motional Ad Llc Discriminator network for detecting out of operational design domain scenarios
CN116977820B (zh) * 2023-07-25 2024-05-03 苏州驾驶宝智能科技有限公司 一种基于自注意力的轻量化三维目标实时检测方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2555431A (en) * 2016-10-27 2018-05-02 Nokia Technologies Oy A method for analysing media content
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"
US10824909B2 (en) * 2018-05-15 2020-11-03 Toyota Research Institute, Inc. Systems and methods for conditional image translation
EP3739521A1 (en) * 2019-05-14 2020-11-18 Robert Bosch GmbH Training system for training a generator neural network
EP3859598A1 (en) * 2020-02-03 2021-08-04 Robert Bosch GmbH Training method for a generator neural network imposing data equivariances

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048536A (zh) * 2021-11-18 2022-02-15 重庆邮电大学 一种基于多任务神经网络的道路结构预测与目标检测方法

Also Published As

Publication number Publication date
EP3859599B1 (en) 2023-12-27
US20210237767A1 (en) 2021-08-05
EP3859599A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
CN113283458A (zh) 利用局部区分信息使用鉴别器来训练生成器神经网络
Huang et al. Autonomous driving with deep learning: A survey of state-of-art technologies
US11989847B2 (en) Photorealistic image simulation with geometry-aware composition
CN118196828A (zh) 物体识别方法及装置
Zaghari et al. The improvement in obstacle detection in autonomous vehicles using YOLO non-maximum suppression fuzzy algorithm
CN111242852A (zh) 边界感知对象移除和内容填充
US20210241102A1 (en) Training method for a generator neural network imposing data equivariances
WO2019053052A1 (en) METHOD FOR (RE-) TRAINING MACHINE LEARNING COMPONENT
Swerdlow et al. Street-view image generation from a bird's-eye view layout
US20230177822A1 (en) Large scene neural view synthesis
Liu et al. Deep transfer learning for intelligent vehicle perception: A survey
US20220230418A1 (en) Computer-implemented method for training a computer vision model
Hoang et al. 3onet: 3d detector for occluded object under obstructed conditions
Kniaz et al. Adversarial dataset augmentation using reinforcement learning and 3d modeling
Gomez-Donoso et al. Three-dimensional reconstruction using SFM for actual pedestrian classification
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
Lee et al. Diffusion probabilistic models for scene-scale 3d categorical data
Aditya et al. Collision detection: An improved deep learning approach using SENet and ResNext
CN113156434A (zh) 根据雷达数据对仰角信息的重建
US20230252658A1 (en) Depth map completion in visual content using semantic and three-dimensional information
Bruls et al. Generating all the roads to rome: Road layout randomization for improved road marking segmentation
Schennings Deep convolutional neural networks for real-time single frame monocular depth estimation
Huang et al. An Overview about Emerging Technologies of Autonomous Driving
Nobis Autonomous driving: Radar sensor noise filtering and multimodal sensor fusion for object detection with artificial neural net-works
García López Geometric computer vision meets deep learning for autonomous driving applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination