CN114595508A - 对载具操作轮廓进行建模 - Google Patents

对载具操作轮廓进行建模 Download PDF

Info

Publication number
CN114595508A
CN114595508A CN202111474484.XA CN202111474484A CN114595508A CN 114595508 A CN114595508 A CN 114595508A CN 202111474484 A CN202111474484 A CN 202111474484A CN 114595508 A CN114595508 A CN 114595508A
Authority
CN
China
Prior art keywords
series
model
function
data
synthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111474484.XA
Other languages
English (en)
Inventor
M·席格
M·B·扎法尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114595508A publication Critical patent/CN114595508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/12Timing analysis or timing optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Robotics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

对载具操作轮廓进行建模。数据驱动算法在汽车系统中的开发和应用对于汽车系统的准确模拟变得越来越重要。当模拟汽车系统时,生成表征目标汽车系统性能方面的大量合成数据点可能是有利的。例如,以此方式,可以模拟和统计评估各种未来场景。本发明涉及一种用于训练生成性机器学习模型的计算机实现方法、一种用于使用生成性机器学习模型生成合成数据系列的计算机实现方法、以及相关联装置。此外,本发明涉及一种相关联的计算机程序元件和计算机可读介质。

Description

对载具操作轮廓进行建模
技术领域
本发明涉及一种用于训练生成性机器学习模型的计算机实现方法、一种用于使用生成性机器学习模型生成合成数据样本的计算机实现方法以及相关联装置。此外,本发明涉及一种相关联的计算机程序元件和计算机可读介质。
背景技术
数据驱动算法在汽车系统中的开发和应用对于汽车系统的准确模拟变得越来越重要。当模拟汽车系统时,生成表征目标汽车系统性能方面的大量合成数据点可能是有利的。例如,以此方式,可以模拟和统计评估各种未来场景。
例如,基于先前获得的载具轨迹数据的载具轨迹预测数据的生成落入该主题领域内。生成性对抗网络(GAN)通常用于提供生成性模型。然而,这样的方法可以进一步改进。
发明内容
根据第一方面,提供了一种用于训练生成性机器学习模型以用于对载具或机器人的操作轮廓(operation profile)进行建模的计算机实现方法,包括对抗地训练生成器模型和鉴别器模型。所述方法包括:
- 从数据空间获得多个数据系列,其中每个数据系列描述载具或机器人的至少一个操作轮廓;
- 在训练生成性机器学习模型时的至少一个生成阶段期间,通过从分布中采样来生成多个合成数据系列;
- 在训练生成性机器学习模型时的至少一个鉴别阶段期间,将(i)来自多个获得的数据系列的数据系列,或者(ii)来自所述多个合成数据系列的合成数据系列输入到鉴别器模型中;
- 在训练生成性机器学习模型时的至少一个鉴别阶段期间,使用鉴别器模型的至少第一和第二函数将到鉴别器模型的输入分类为来自数据空间的数据系列或合成数据系列;
其中第一函数的多个输入包括合成数据系列的多个连续样本,并且第二函数的至少一个输入包括从合成数据系列的不同步长取得的合成数据系列的至少两个数据样本;以及
- 迭代地训练生成性机器学习模型的生成器模型和鉴别器模型,以产生包括经训练生成器模型的经训练机器学习模型。
效果是由根据所述方法训练的机器学习模型生成的合成数据匹配或更紧密地近似关于真实载具应用场景的特定特性的真实分布。当使用鉴别器训练的生成器被用于生成合成数据样本时,这导致更好质量的模拟。
根据上述方法生成的模型也可以有益地用于载具的实况操作中。例如,发动机控制单元可以基于记录的载具行驶速度轮廓,或者基于由导航系统计算的载具未来路线或者在给定汽车当前位置情况下的最可能路径,来预测燃料消耗或排放性能。例如,如果模型被训练成预测未来载具操作模式,那么对于给定的路线可以更准确地近似排放或燃料消耗,而使用所述模型来控制载具的发动机控制单元将平均地使得载具减少其排放。
可以基于模型的结果来适配载具或机器人的控制策略。例如,在电动载具或机器人中,如果给定路线被预测为将电池耗尽到不可接受的水平之下,则可以建议另一路线,可以触发驾驶员警报,和/或可以启用低功率模式(例如,限制载具或机器人的速度)。
所述模型可以被配置为在燃料或排放性能方面对载具路径查找软件中的条目进行评级。具有更高效的燃料性能或更低排放特性的路线可以在输出接口上以更高优先级呈现给驾驶员。
所述模型可以类似地用在电动或混合动力汽车的控制单元中,以基于预期路线改进电池消耗的预测或预测再充电时间。
根据第一方面训练的模型可以用于估计载具组件上的磨损,所述磨损可能由沿着一个或多个预测路线的行驶引起。
此外,本方面有益于用于训练机器学习模型(例如,经由cGAN或GAN)的处理器或系统的内部操作。具体来说,第二模块的实际效果是在训练期间为GAN或cGAN生成器提供附加的梯度信息。这使鉴别器的任务变得容易,其通过关注于领域特定的特征(诸如从由真实或合成数据系列所得的分布(可选地,速度-加速度直方图)中采样的一系列值),这进而可以指导训练,并且导致训练的稳定性、速度和准确性方面的改进。
根据第二方面,提供了一种用于使用生成性机器学习模型生成表示载具或机器人的合成操作轮廓的合成数据样本的计算机实现方法。所述方法包括:
- 依据根据第一方面的方法获得的多个模型参数来配置生成性机器学习模型;
- 通过从被配置为提供伪随机向量的分布中采样来获得多个样本;
- 对分布的所述多个样本进行解码,以获得数据空间中的另外多个合成数据样本;以及
- 输出表示载具或机器人的合成操作轮廓的所述另外多个合成数据样本。
根据第三方面,提供了一种用于训练另外的机器学习模型以用于对载具的操作轮廓进行建模的计算机实现方法,包括:
- 获得如根据第二方面的计算机实现方法生成的表示载具的合成操作轮廓的另外多个合成数据系列;
- 将表示载具的合成操作轮廓的所述另外多个合成数据系列输入到另外的机器学习模型中;
- 迭代地训练所述另外的机器学习模型;以及
- 输出所述另外的机器学习模型的另外多个模型参数,以用于对载具的操作轮廓进行建模。
根据第四方面,提供了一种装置,用于训练生成性机器学习模型以用于对载具或机器人的操作轮廓进行建模,包括对抗地训练存储在存储器中的生成器模型和鉴别器模型。所述装置包括:
输入接口,被配置为从数据空间获得多个数据系列,其中每个数据系列描述载具的至少一个操作轮廓;以及处理器,被配置为在训练生成性机器学习模型时的至少一个生成阶段期间,通过从分布中采样来生成至少一个合成数据系列。
处理器被配置为在训练生成性机器学习模型时的至少一个鉴别阶段期间,将(i)来自多个获得的数据系列的数据系列,或者(ii)来自所述至少一个合成数据系列的合成数据系列输入到鉴别器模型中。
在训练生成性机器学习模型时的至少一个鉴别阶段期间,处理器被配置为使用鉴别器模型的至少第一和第二函数将到鉴别器模型的输入分类为来自数据空间的数据系列或合成数据系列。
第一函数的多个输入包括合成数据系列的多个连续样本,并且第二函数的至少一个输入包括从合成数据系列的不同步长取得的合成数据系列的至少两个数据样本;
处理器被配置为迭代地训练生成性机器学习模型的生成器模型和鉴别器模型,以产生包括经训练生成器模型的经训练机器学习模型。所述装置进一步包括输出接口,所述输出接口被配置为输出经训练机器学习模型。
根据第五方面,提供了一个或多个计算机程序元件,包括至少(i)用于根据第一方面或其实施例的方法来使用机器学习训练生成性机器学习模型的计算机可执行指令,和/或(ii)用于根据第三方面生成合成数据系列的计算机可执行指令,和/或(iii)包括用于提供根据第一方面或其实施例训练的生成性机器学习模型的模型参数的计算机可执行指令。
根据第六方面,提供了一种计算机可读介质,包括
第五方面的一个或多个计算机程序元件。
根据第七方面,提供了一种载具,包括被配置为提供动力以移动载具的原动机、多个传感器、以及至少被配置为基于来自传感器的反馈来控制原动机的载具电子单元。载具电子单元包括处理器,所述处理器被配置为实例化并实现根据第二方面的经训练模型。经训练模型被配置为从传感器接收输入信号,并将输入信号应用于经训练模型。处理器被配置为使用经训练模型来计算一个或多个响应信号。处理器被配置为响应于经由经训练模型获得的响应信号来调整载具的一个或多个原动机或另一输出致动器的配置。
在本说明书中,载具可以是运载或运输物品(诸如乘客或负载)的任何手段。载具的示例包括具有内燃机、混合动力发动机、燃气发动机、电动动力系或氢混合动力的汽车、重型货车、厢式货车或公共汽车。载具可以是自主或半自主汽车、公共汽车或卡车。载具可以是电动自行车、电动滑板车工厂机器人、叉车或电动轮椅。
在本说明书中,载具的操作轮廓是描述例如沿着路线行驶的载具的速度系列、发动机温度、发动机速度、踏板位置、转向角或换挡函数的多个采样数据系列中的一个或多个。
在一个示例中,经训练模型也可以应用于半自主或自主机器人(诸如仓库机器人),其在本申请中被认为是一种类型的载具。
在一个示例中,到鉴别器模型的第二函数的输入包括从由真实或合成数据系列所得的分布中采样的一系列速度-加速度对。在其他示例中,操作轮廓可以涵盖每单位时间的载具停止的整数次、载具加速到预定速度的持续时间、载具减速到预定速度的持续时间、载具减速到零速度的持续时间、载具速度对比路线曲率、载具速度对比路线倾斜度、载具速度对比总行程持续时间、每单位时间的换挡的整数次、达到预定速度的换挡函数、达到预定速度的换挡函数、达到零速度的换挡函数、换挡函数对比路线曲率、换挡函数对比路线倾斜度、换挡函数对比总行程持续时间。
因此,在一个示例中,鉴别器的第二函数可以被评估以提供来自样本的附加信息,所述样本使生成性模型的分布朝向由专家定义的分布偏置。
附图说明
图1A图示了用于在路线-速度样本数据上训练条件生成性对抗网络的方法。
图1B图示了用于使用经训练生成性机器学习网络来生成路线-速度样本数据的方法。
图2更详细地图示了图1B的条件生成性对抗网络的鉴别器。
图3A图示了根据第一方面的用于训练生成性机器学习模型以用于对载具的操作轮廓进行建模的计算机实现方法。
图3B图示了根据第二方面的用于使用生成性机器学习模型来生成表示载具的合成操作轮廓的合成数据样本的计算机实现方法。
图4A图示了机器学习系统的示例性结构。
图4B图示了数据生成器的示例性结构。
图5图示了机器学习系统的鉴别器的示例性结构。
图6图示了机器学习系统的鉴别器的详细实施例。
图7图示了根据第三方面的装置。
图8示意性地图示了根据第七方面的载具,其并入被配置为应用根据第一方面训练的模型的控制器。
具体实施方式
现在提出对生成性模型的改进。
生成性模型是一种能够生成数据样本的神经网络架构,所述数据样本表示先前用于训练生成性模型的数据样本集合。在一个示例中,生成性模型可以是生成性对抗网络(GAN)或条件生成性对抗网络(cGAN)的生成器。
用于生成合成速度曲线的生成性模型(例如)可能生成看起来现实的样本,但是生成的轨迹可能与真实数据的统计量不匹配。例如,在生成速度轨迹时,诸如沿着路线的交通灯的存在、某些路口处其他驾驶员的行为、一天中的时间、驾驶员的情绪之类的外部因素可能引起常规速度曲线生成中没有计及的影响。这样的外部影响构成应用特定的偏差,其影响生成的速度轨迹的统计量。
作为一个示例,从表示速度-加速度直方图的分布中获得样本可以被领域专家用来判断由生成性网络生成的载具速度轨迹的真实性。预期表示真实世界场景的载具行程遵循给定的速度-加速度对分布。也可以预期真实世界的行程示出一些其他特征的某些分布,诸如速度轨迹中表示的子行程的数量(子行程是可标识的,例如,通过在继续之前的时段内载具在零速度下的停留时间),或者在零速度下花费的时间。
根据本说明书的各方面,提议用改进由鉴别过程所得的统计量质量的附加函数来增强生成性对抗网络(GAN)或条件生成性对抗网络(cGAN)的鉴别器。特别地,提议在鉴别器应用特定统计量中向鉴别函数提供至少一个额外的函数块。换句话说,GAN或cGAN的基于数据的生成器可以用领域特定的专家知识来丰富。
换句话说,提议一种GAN或cGAN,其具有更改的架构,该架构生成与领域专家特征的分布匹配或紧密相似的样本数据的轨迹(例如,速度轨迹)。
此外,提供具有应用准确统计量的函数的鉴别器可以在训练过程期间应用,以生成更准确的输出数据,或者作为评估度量来判断由生成性模型生成的数据的准确性。
图1A图示了在路线-速度样本数据上训练条件生成性对抗网络的示例。然而,本文讨论的技术适用于没有任何条件(例如基于路线的条件)的生成性对抗网络(GAN)。
在训练阶段中,从真实数据分布中获得样本c {1:Ti} x {1:Ti} 。在这种情况下,环境变量c {1:Ti} 是描述一个真实路线的矩阵,并且时间系列x {1:Ti} 是沿着该路线的速度观察的向量。Ti是序列的长度。
从真实数据分布中随机选择包括路线样本14a和与路线样本14a相关联的速度样本14b的真实数据样本对14,并且将其提供给鉴别器12,从而形成真实的时间-系列数据的样本。在训练GAN(如与cGAN相对的)的示例中,仅需要一个数据样本,而不是数据样本对。
路线样本14a是定义示例路线的一系列环境点。速度样本14b对应于每个路线样本14a。速度样本14b是一系列速度点,其定义载具在沿着路线样本14a的点处的速度。
来自先前迭代的生成性模型10a被提供有诸如高斯分布或均匀分布之类的预定分布的随机样本。当从分布中采样时,可以获取向量或向量序列。此外,生成性模型10a被提供有条件路线样本,在一个示例中,该条件路线样本是时间系列。
生成性模型10a被配置为生成一个或多个输出——在这种情况下是一个或多个生成的速度15。生成的速度15和用于作为生成性模型10a的条件的路线样本16b形成合成时间系列数据17b的样本。
鉴别器模型12被训练成标识在其输入处的样本是表示实验观察数据(真实世界数据)17a还是来自生成性模型10a的合成时间系列数据17b(假数据)。典型地,训练过程将生成性模型10a和鉴别器12针对彼此迭代,使得生成性模型10a在击败鉴别器模型12方面变得更好(换句话说,鉴别器模型12变得更有可能错误地将实验观察数据17a标识为合成数据17b,并且反之亦然)。
换句话说,cGAN的训练过程涉及优化生成性模型10a的损失函数和鉴别器模型12的损失函数。更具体地,训练过程是涉及最小化鉴别器模型12的损失函数和最小化生成性10a误差的损失函数(这暗示最大化合成数据的鉴别器损失)的极小极大(minimax)过程。结果是最终生成性模型10b能够生成合成时间系列曲线。
图1B图示了用于使用经训练生成性机器学习网络来生成路线-速度样本数据的方法。例如,给定路线可以由例如表示坡度、速度限制、交通密度轮廓、路面、交通灯数量或天气数据的一系列信息来表示。
从路线19a的数据库中提取路线20,并且路线20可以用于作为cGAN的经训练生成性模型10b的条件。此外,从预定分布中抽取来自cGAN的样本。基于路线20和预定分布的采样,经训练生成性模型10b提供一个或多个合成数据项,诸如特定时间22处的速度的合成数据系列,以供进一步使用。在一个示例中,另外的用途可以是将生成的数据输入到系统模拟和分析软件23中。
在本说明书中,下列符号具有以下含义:
x 1:T 长度为T的系列,其中
Figure 606035DEST_PATH_IMAGE001
。在一个示例中,该系列描述了载具的操作轮廓,诸如载具速度。考虑多个系列x 1:Ti ,Ti是系列i的长度。
X 数据空间,包括可选地具有可变长度的多个样本x 1:T
Figure 374884DEST_PATH_IMAGE002
合成数据空间。
c 1:T 在T之上的路线信息或环境条件,其中
Figure 108484DEST_PATH_IMAGE003
。例如,坡度、速度限制或对应于档位设置的离散集合。考虑多个系列c 1:Ti ,Ti是系列i的长度。
Figure 110944DEST_PATH_IMAGE004
真实操作轮廓数据在变量x之上的分布。
Figure 913684DEST_PATH_IMAGE005
指代以环境c为条件的真实操作轮廓数据,而
Figure 879366DEST_PATH_IMAGE006
是真实操作轮廓数据和环境的联合分布。
Figure 795370DEST_PATH_IMAGE007
环境或路线信息在变量c之上的分布。
Figure 719463DEST_PATH_IMAGE008
变量x之上的隐式诱导分布。
Figure 337395DEST_PATH_IMAGE009
从未知分布
Figure 372347DEST_PATH_IMAGE010
抽取。
Figure 142857DEST_PATH_IMAGE011
每个时间步长处具有加速度的长度为T的系列。
z 1:T 每个时间步长处的噪声,其中
Figure 237852DEST_PATH_IMAGE012
。从已知分布——即
Figure 359392DEST_PATH_IMAGE013
(例如正态分布、均匀分布)抽取。
上面给出的符号定义是为了说明本公开中给出的具体示例,而不是限制总体技术概念。特别地,多变量时间系列可以用R D 中的x t 生成,其中D是要生成的变量的数量。在各图中出现符号“x”、“c”和“z”的地方处,这意图标示“x 1:T ”、“c 1:T ”和“z 1:T ”的简写。
尽管下标T已经被用于索引上面给出的系列,并且本文给出的示例是依据时间系列的,但是该技术不限于此。例如,该系列以距离步长或档位设置为参考。
该系列x 1:T 可以是单变量或多变量的。在一个示例中,该系列是时间系列或基于距离的系列。
多个系列中的每个元素x 1:Ti c 1:Ti 可以具有不同的长度。
在图1A的示例中,cGAN目标被给予真实数据
Figure 181723DEST_PATH_IMAGE014
,并学习从
Figure 806740DEST_PATH_IMAGE015
中抽取样本。生成器模型(网络)10a
Figure 72636DEST_PATH_IMAGE016
被配置为从隐式诱导分布
Figure 415893DEST_PATH_IMAGE017
中采样。通过对抗训练,执行最小化以最小化真实分布与诱导分布之间的差异
Figure 58227DEST_PATH_IMAGE018
。在一个示例中,该差异可以通过Jensen- Shannon散度、Wasserstein距离或最大平均差异(MMD)来减小。给定生成器模型g和鉴别器模型(批评)f,这对应于极小极大目标
Figure 787017DEST_PATH_IMAGE019
。项
Figure 489394DEST_PATH_IMAGE020
指代散度的估计,然后生成器尝试将其最小化。
在一个示例中,在GAN设置中应用Wasserstein距离
Figure 54367DEST_PATH_IMAGE021
,即在不以环境/路线信息为条件的情况下,在两个分布之间:
Figure 969234DEST_PATH_IMAGE022
(1)
其中
Figure 818110DEST_PATH_IMAGE023
由1-Lipshitz函数组成。因此,极小极大目标变成:
Figure 691388DEST_PATH_IMAGE024
(2)
通过用另一分布
Figure 743658DEST_PATH_IMAGE025
近似路线信息和载具操作轮廓的联合分布
Figure 727794DEST_PATH_IMAGE026
来提供条件GAN(cGAN)。在
Figure 181909DEST_PATH_IMAGE027
Figure 233214DEST_PATH_IMAGE028
的情况下,生成器模型(网络)10a可以被训练成从
Figure 772780DEST_PATH_IMAGE029
中采样。真实分布与诱导分布之间的差异
Figure 295028DEST_PATH_IMAGE030
可以经由对抗训练最小化。在将Wasserstein 距离设置为散度量度的情况下,cGAN目标变成:
Figure 869229DEST_PATH_IMAGE031
(3)
图2更详细地图示了图1B的条件生成性对抗网络(cGAN)的生成器和鉴别器。同样的特征用同样的附图标记标示。第24行是简化的图示,并且第25行是cGAN的示例模型(网络)架构的详细图示。在一个示例中,生成性模型10b由递归神经网络(LSTM 10c)实现。所图示的特定示例使用长短期记忆单元来实现生成性模型10b,尽管可以使用其他变型。从路线16b中提取到LSTM的输入。
在图2中,从路线16b提取两个环境条件时间序列集合作为特征。第一环境条件时间序列定义沿着路线的坡度。第二环境条件时间系列定义沿着路线的速度限制。本领域技术人员将领会,更多或更少的环境时间系列可以被应用作为到LSTM 10c的输入。从P Z 抽取每个时间步长处的噪声样本16a(z)并将其输入到LSTM 10c。包括LSTM 10c的生成性模型根据这些输入生成适当的合成速度时间系列。
定义沿着路线的坡度的第一环境条件时间序列、定义沿着路线的速度限制的第二环境条件时间系列以及生成的合成速度时间系列被应用于鉴别器12。在图示的示例中,鉴别器12a也是递归神经网络,诸如长短期记忆。
可以进一步改进图2中所图示的cGAN。特别地,现实速度时间系列的统计分布可能被现实行驶条件所偏转,所述现实行驶条件由例如交通灯、天气条件、驾驶员情绪、速度相机位置或一天中的时间的影响引起。
根据第一方面,提供了一种计算机实现方法30,用于训练生成性机器学习模型以用于对载具或机器人的操作轮廓进行建模,包括对抗地训练生成器模型和鉴别器模型,其中所述方法包括:
- 从数据空间获得32多个数据系列,其中每个数据系列描述载具或机器人的至少一个操作轮廓;
- 在训练生成性机器学习模型时的至少一个生成阶段期间,通过从分布中采样来生成33多个合成数据系列;
- 在训练生成性机器学习模型时的至少一个鉴别阶段期间,将(i)来自多个获得的数据系列的数据系列,或者(ii)来自所述多个合成数据系列的合成数据系列输入34到鉴别器模型中;
- 在训练生成性机器学习模型时的至少一个鉴别阶段期间,使用鉴别器模型的至少第一和第二函数将到鉴别器模型的输入分类35为来自数据空间的数据系列或合成数据系列;
其中,第一函数10的多个输入包括合成数据系列的多个连续样本,并且第二函数26的至少一个输入包括从合成数据系列的不同步长取得的合成数据系列的至少两个数据样本;以及
- 迭代地训练36生成性机器学习模型的生成器模型和鉴别器模型,以产生包括经训练生成器模型的经训练机器学习模型。
图3A图示了根据第一方面的用于训练生成性机器学习模型以用于对载具的操作轮廓进行建模的计算机实现方法。
根据一个实施例,在至少一个生成阶段中,对分布进行采样以提供多个合成数据系列。
图4A图示了用于在训练阶段中训练生成性模型的机器学习系统45的示例性结构。
机器学习系统45是生成性对抗网络GAN的示例。从包含真实数据样本14的数据库中获得诸如路线和相关联速度轮廓的示例性数据。生成器47然后在机器学习系统45中被训练以生成示例输出数据系列,诸如速度轮廓和/或路线。速度轮廓被确定为随机输入变量16a的函数。例如,数据空间X中的多个采样数据系列(诸如从多个载具路线提取的速度)在数据空间X中形成多个采样数据系列,尽管许多其他变量可以单独使用,或者组合使用。
对分布(例如高斯分布)进行采样,以获得多个合成数据系列。例如,选择分布的参数,使得输出分布的特性代表意图的合成数据,诸如多个速度轮廓或档位设置。
从分布中采样的每个时间步长z 1:T 处的噪声被输入到生成器47,生成器47可以可选地被提供有条件GAN中的其他变量。生成器47旨在生成不能与真实数据样本14区分的合成数据系列。生成器47的迭代优化可以在每次迭代时通过将X
Figure 818731DEST_PATH_IMAGE032
进行比较并计算损失函数来执行。生成器47的参数可以通过诸如梯度下降的方法来调整。
因此,生成器47被训练成产生合成数据系列。例如,生成器47可以用作生成性模型10a、10b,如图1A中所讨论的。
因此,根据图4A中所图示的机器学习系统45,可以实现第一方面的方法的步骤,即获得32数据空间中的多个数据系列X,并基于预定分布中的多个样本生成33至少一个合成数据系列
Figure 829281DEST_PATH_IMAGE032
在一个示例中,将(i)来自多个采样数据系列的数据系列,或者(ii)来自至少一个合成数据系列的合成数据系列输入34到鉴别器模型中的步骤是通过例如从生成器输出47选择一个或多个合成数据系列或者从真实输入数据(诸如真实输入样本14)选择数据系列来执行的。
GAN鉴别器12、12a通过提取一些潜在特征(其不一定是可解释的)来操作,并使用这些特征来决定输入样本是真实的还是合成的(由生成器10a、47生成)。鉴别器12a产生例如实数
Figure 420799DEST_PATH_IMAGE033
作为分数。
例如,分数的正值意味着鉴别器12、12a认为样本是真实的。例如,分数的负值意味着鉴别器认为样本是合成的(假的)。特征提取可以通过神经网络来执行。
替代地,分数可以是二进制值,例如,其中“1”指示“真实”样本,并且“0”指示“假”样本。
本说明书提议了一种新的鉴别器设计,用于在机器学习模型的鉴别阶段中将到鉴别器模型的输入分类35为真实的或合成的(假的)的目的。
关键思想是将单独的函数模块
Figure 583927DEST_PATH_IMAGE034
26添加到GAN鉴别器。单独的模块被配置为提取附加信息(诸如专家特征),并将它们用作鉴别器分数的组成部分。这意味着鉴别器12、12a训练生成器47以提供具有近似真实数据系列的概率密度函数的合成数据系列。
图5图示了根据第一方面的机器学习系统的鉴别器12的示例性结构。鉴别器包括第一函数12a和第二函数26。第一函数的多个输入包括真实数据系列
Figure 704330DEST_PATH_IMAGE035
或合成数据系列
Figure 467756DEST_PATH_IMAGE036
的多个连续样本。出于示意性目的,
Figure 597386DEST_PATH_IMAGE036
Figure 615020DEST_PATH_IMAGE037
的输入线在图5中标示为可选择的。可以应用使得能够在真实数据系列
Figure 171903DEST_PATH_IMAGE037
或合成数据系列
Figure 173358DEST_PATH_IMAGE036
之间进行选择的任何数据操控函数。假设每个合成数据系列
Figure 824788DEST_PATH_IMAGE036
或真实数据系列
Figure 962508DEST_PATH_IMAGE035
的输入样本可以作为受控数量的样本的串行序列或者作为样本的并行向量来提供。在输入到鉴别器12的第一函数12a时,不存在合成数据系列
Figure 955872DEST_PATH_IMAGE036
Figure 913463DEST_PATH_IMAGE037
在它们的连续维度方面的重排、混合或卷积。换句话说,到第一函数12a的输入是合成数据系列
Figure 384896DEST_PATH_IMAGE036
Figure 891970DEST_PATH_IMAGE035
在时间方面的副本。
第二函数26的至少一个输入包括从合成数据系列的不同位置取得的合成数据系列的至少两个样本。
在一个示例中,从生成器10的输出获得到鉴别器12的第二函数26的输入,其中生成器10的输出的第一样本和生成器10的输出的相邻第二样本被组合。
在一个示例中,排他地从生成器10的输出获得到鉴别器12的第二函数26的输入。在一个示例中,到第二函数26的输入不包括随时间的环境条件
Figure 525076DEST_PATH_IMAGE038
的样本(例如,坡度或速度限制)。
在一个示例中,合成数据系列
Figure 235543DEST_PATH_IMAGE036
Figure 510667DEST_PATH_IMAGE037
的第一子集以与合成数据系列
Figure 357400DEST_PATH_IMAGE036
Figure 676255DEST_PATH_IMAGE035
的第二子集的一偏移被输入到第二函数26。在一个示例中,第一和第二样本集合之间的偏移是合成数据系列
Figure 874018DEST_PATH_IMAGE036
或真实数据系列
Figure 687253DEST_PATH_IMAGE037
的一个元素、两个样本、三个样本或四个样本。在一个示例中,合成数据系列
Figure 106602DEST_PATH_IMAGE036
或真实数据系列
Figure 81511DEST_PATH_IMAGE035
的第一和第二子集被输入到第二函数26,在它们之间有样本移位。
在一个示例中,鉴别器的第一函数12a在其输入处获得至少一个合成数据系列
Figure 766571DEST_PATH_IMAGE036
,并且可选地获得一系列测量的环境条件。例如,鉴别器的第一函数12a可以获得来自生成器10a的合成数据系列和一系列环境条件的组合。
在一个示例中,鉴别器的第一函数12a在其输入处获得表示速度的合成数据系列
Figure 383497DEST_PATH_IMAGE036
Figure 454090DEST_PATH_IMAGE039
,以及至少表示坡度和/或速度限制的一系列环境条件。随时间的多个连续环境条件被索引到表示速度的合成数据系列
Figure 599900DEST_PATH_IMAGE036
Figure 772256DEST_PATH_IMAGE037
的多个连续样本。
在一个示例中,数据系列的元素和合成数据系列的元素各自表示一个时间系列(按时间排序)。在另一个示例中,数据系列和合成数据系列的元素各自表示基于距离的系列(相对于地图上固定位置的基准点排序)。
在一个示例中,第二函数在其输入处没有获得任何环境条件。
在一个示例中,第二函数将专家函数应用于合成数据系列
Figure 927294DEST_PATH_IMAGE036
Figure 603126DEST_PATH_IMAGE035
根据一个实施例,第一函数的输入是到鉴别器模型的输入的时间索引函数,并且第二函数的输入是到鉴别器模型的输入的可微函数。
根据实施例,第一方面进一步包括使用鉴别器神经网络来组合第一和第二函数的输出。
第一函数是递归神经网络,可选地是长短期记忆网络。
第二函数是通过如下方式获得的:投影至少一个合成数据系列,并基于投影的至少一个合成数据系列和来自多个数据系列的至少一个数据系列的组合获得鉴别器模型的第二函数的结果。
鉴别器神经网络可选地计算鉴别器模型的第一和第二函数的线性组合。
在一个示例中,包括在所述多个数据系列中的数据系列是时间系列或距离系列。所述多个合成数据系列中的合成数据系列是合成时间或距离数据系列。
作为一个示例,从由真实或合成数据系列所得的分布中采样的一系列值可以用作附加信息或专家特征。
作为一个示例,从由真实或合成数据系列所得的分布(可选地,速度-加速度直方图)中采样的一系列速度-加速度对可以用作附加信息或专家特征。
在专家特征由从表示速度-加速度直方图的分布中抽取的样本提供的情况下,鉴别器的第二函数26具有以下形式:数据系列包括元素,所述元素将x t 表示为主体载具在时间步长t处的速度。可以计算另外的时间系列
Figure 434684DEST_PATH_IMAGE040
,其中
Figure 94336DEST_PATH_IMAGE041
表示载具在时间步长t处的加速度。鉴别器的第二函数26可以用以下方式描述:
Figure 787485DEST_PATH_IMAGE042
(4)
其中
Figure 583403DEST_PATH_IMAGE043
至少在一个时间步长处、并且在一个示例中在每个时间步长处提取专家特征。在该示例中,时间步长由数据系列的接续元素之间的步长表示。在一个示例中,投影函数26c投影专家特征
Figure 585863DEST_PATH_IMAGE044
的至少一个样本以实现鉴别。
在一个示例中,到鉴别器12的第二函数26的输入是从生成器10的输出获得的,其中生成器10的输出的样本和生成器10的输出的相邻第二样本被组合并根据
Figure 467231DEST_PATH_IMAGE045
被投影。
在一个示例中,到鉴别器12的第二函数26的每个输入是从生成器10的输出获得的,其中生成器10的输出的每个样本根据专家函数
Figure 964072DEST_PATH_IMAGE046
与生成器10的输出的每个相邻第二样本组合。
在一个示例中,到鉴别器12的第二函数26的每个输入是从生成器10的输出获得的,其中生成器10的输出的每个样本是生成器输出的卷积。
在一个示例中,到鉴别器12的第二函数26的至少一个输入是从合成数据系列
Figure 614496DEST_PATH_IMAGE036
或真实数据系列
Figure 538589DEST_PATH_IMAGE037
获得的。在一个示例中,到鉴别器12的第二函数26的至少一个输入是从获得自数据空间X的数据系列中获得的。在一个示例中,到鉴别器12的第二函数26的输入是从合成数据系列
Figure 625363DEST_PATH_IMAGE036
和获得自数据空间X的数据系列中作为混合获得的。
在一个示例中,鉴别器的第二函数26将专家函数
Figure 925894DEST_PATH_IMAGE047
应用于其至少一个输入。基于生成器10的输出,专家函数
Figure 430825DEST_PATH_IMAGE047
可以评测例如如下各项中的一个或多个:每单位时间的载具停止的整数次、载具加速到预定速度的持续时间、载具减速到预定速度的持续时间、载具减速到零速度的持续时间、载具速度对比路线曲率、载具速度对比路线倾斜度、载具速度对比总行程持续时间、每单位时间的换挡的整数次、达到预定速度的换挡函数、达到预定速度的换挡函数、达到零速度的换挡函数、换挡函数对比路线曲率、换挡函数对比路线倾斜度、换挡函数对比总行程持续时间。
上面示例中的效果是,在训练总体模型时,鉴别器12(换句话说,分类器)学习区分假的速度-加速度对与真实的速度-加速度对的分布。隐式地,对于给定的输入,鉴别器构建真实样本和假样本的数据密度,以找出两者中哪一个更有可能。
在一个实施例中,鉴别器模型的第二函数被配置为基于表示载具速度的至少一个数据系列和表示合成载具速度的至少一个合成数据系列从由真实或合成数据系列所得的分布中采样。
在一个实施例中,鉴别器模型的第二函数被配置为基于表示载具速度的至少一个合成数据系列来评估零速度下花费的时间。
在一个实施例中,多个数据系列描述载具的多个操作轮廓,包括沿着路线行驶的载具的速度系列、发动机温度、发动机速度、踏板位置、转向角或换挡函数中的至少一个,并且到鉴别器模型的第二函数的输入包括从一系列值中采样的多个速度-加速度对,所述一系列值从由真实或合成数据系列所得的分布中采样。
在一个实施例中,多个数据系列描述自主或半自主机器人的多个操作轮廓,包括位移系列、速度系列或表示自主或半自主机器人的致动器位置的系列中的至少一个。
根据一个实施例,第二函数是通过如下方式获得的:投影至少一个合成数据系列,并基于投影的至少一个合成数据系列和来自多个数据系列的至少一个数据系列的组合获得鉴别器模型的第二函数的结果。
根据一个实施例,其中鉴别器模型的第二函数被配置为通过投影多个合成数据系列的一个或多个样本来对鉴别器分数做出贡献。
在一个实施例中,D = 1。在这种情况下,f proj 的输出可以被认为是专家特征在单个时间步长处的鉴别输出。例如,当D = 1时,获得速度-加速度对在单个时间步长处的鉴别输出。在一个实施例中,对于更丰富的表示,D可以大于1(以使得能够跨多于一个时间步长混合专家特征)。
在一个示例中,f proj 投影函数可以被实现为多层感知器的一系列密集层。
在一个示例中,f proj 投影函数可以是手工制作的,以将输入投影到第二函数的箱(bin)中。在一个示例中,f proj 投影函数可以是手工制作的,以将输入投影到第二函数的专家特征的箱中。在一个示例中,f proj 投影函数可以是手工制作的,以将输入投影到表示从由真实或合成数据系列所得的分布(诸如速度-加速度直方图)中采样的一系列值的分布的箱中。
许多载具路线以零速度开始。因此,在一个示例中,假设第一时间步长处的速度为零,并且可以在所有后续时间步长处计算加速度。
投影函数f proj 的输出可以可选地在平均单元26b中被平均,以获得鉴别器12的第二函数26(专家单元)的最终鉴别
Figure 775087DEST_PATH_IMAGE048
图6图示了如在cGAN中使用的机器学习系统的鉴别器12的详细实施例的示例。提供图5的部分28中所图示的生成器10c供参考。在图5的部分29中图示了鉴别器12。鉴别器12至少包括第一函数12a和第二函数26。
在一个示例中,鉴别器12被应用于GAN而不是cGAN。在这种情况下,将不需要图6中所示的环境变量
Figure 365469DEST_PATH_IMAGE049
。这种情况没有在图6中图示出。
因此,生成器10a产生多个合成数据系列样本,诸如速度系列。鉴别器12的第一函数12a以时间为参考。在第二函数26从速度系列计算加速度的特定情况下,加速度从如图6中所示的成对的相邻时间步长中计算,并且以预定顺序提取到第二函数26的输入。加速度
Figure 204112DEST_PATH_IMAGE050
可以被设置为任意值,例如
Figure 94707DEST_PATH_IMAGE051
在第二函数不是基于加速度的另一种情况下,鉴别器的第二函数26可以独立于时间结构。在图示的示例中,第二函数26根据速度计算加速度,并计算
Figure 360604DEST_PATH_IMAGE052
。本领域技术人员将领会,第二函数26可以计算许多其他函数,这些函数依赖于或独立于数据系列或合成数据系列的时间结构。
第二函数26的目的是通过确保向鉴别器提供关于特定载具或机器人行为的额外专家信息,使得多个合成数据系列能够更加现实。
根据一个实施例,经训练生成性机器学习模型被配置为生成多个合成数据系列,与在鉴别器模型中不使用第二函数的情况下会生成的多个合成数据系列的统计分布相比,所述多个合成数据系列具有更类似于所述多个数据系列的统计分布的统计分布。
可选地,在应用投影
Figure 687549DEST_PATH_IMAGE053
Figure 64303DEST_PATH_IMAGE054
之后,第一函数12a的输出和第二函数26的输出在组合块27中联合。可选地,投影
Figure 809406DEST_PATH_IMAGE053
Figure 246203DEST_PATH_IMAGE055
可以由多层感知器MLP执行。可选地,组合块27可以是sigmoid函数或线性组合,或另一种形式的神经网络。
根据一个实施例,鉴别器模型的输出由下式定义
Figure DEST_PATH_IMAGE057A
其中
Figure 388340DEST_PATH_IMAGE058
其中
Figure 568786DEST_PATH_IMAGE060
是第一函数,
Figure 168395DEST_PATH_IMAGE061
是第二函数,并且
Figure 290940DEST_PATH_IMAGE053
Figure 77631DEST_PATH_IMAGE055
是投影,可选地实现为多层感知器。
先前的示例考虑了在鉴别器12中使用第二函数26,鉴别器12被配置为从表示速度-加速度直方图的分布中采样。
将关于用于排放模拟或负荷集中分析的载具速度生成来讨论第二示例。
在第二示例中,载具的速度是带着对排放或各种载具组件上的负荷进行建模的目的而生成的。以此方式生成的数据可以用来训练汽车在行驶期间可以使用的模型。在实践中,这样的模型将被训练成实时表征燃料消耗、排放性能、能量需求或载具部件(诸如泵或制动器)上的磨损。
在该示例中,目标变量是速度的时间系列。在该示例中,鉴别器12的第二函数26是从分布中采样的一系列值,该分布是由零速度下花费的时间对比行进的总时间的真实或合成数据系列所得的。这是有益的,因为与在开始和结束之间保持基本恒定速度的载具旅程相比,涉及零速度下花费的许多时期的载具旅程可能显示更高的排放,或者引起更多的组件磨损。
在这种情况下,鉴别器12的第二函数26的示例实现是:
Figure 61767DEST_PATH_IMAGE062
(5)
求和内的项将零速度映射为1,并将任何非零速度映射为近似零(假设只出现非负速度)。温度取默认值1,但可以增大以得到阶跃函数的更陡近似。在这种情况下,温度是特定于sigmoid函数的项,而不是指代载具的发动机温度。函数
Figure 781461DEST_PATH_IMAGE063
将输入(在零速度下花费的时间和行进的总时间)映射到特征空间中以进行鉴别。在一个示例中,
Figure 560062DEST_PATH_IMAGE063
可以是多层感知器。
因此,呈现了鉴别器的第二函数26的组成的两个详细示例,以解决不同的应用。然而,本领域技术人员将领会,鉴别器的第二函数26可以被组成来解决依赖于应用领域的统计偏态的许多实例。
根据一个实施例,鉴别器模型的第二函数被配置为对从由真实或合成数据系列所得的分布中采样的一系列值进行采样,所述合成数据系列例如是表示载具速度的至少一个合成数据系列,以基于其提供速度-加速度直方图。
根据一个实施例,鉴别器模型的第二函数被配置为基于表示载具速度的至少一个合成数据系列来评估零速度下花费的时间。
根据一个实施例,多个数据系列描述载具的多个操作轮廓,包括沿着路线行驶的载具的速度系列、发动机温度、发动机速度、踏板位置、转向角或换挡函数,并且到鉴别器模型的第二函数的输入是从由具有表示速度-加速度函数的分布的真实或合成数据系列所得的一系列值中采样的。
虽然图6的示例将应用考虑为载具速度轨迹,并且第二函数26(专家特征)是从由具有表示速度-加速度直方图的分布的真实或合成数据所得的一系列值中采样的,但是该布置可以扩展到许多特征,诸如其他环境变量c
在一个示例中,鉴别器12的第二函数26(如果存在)应该以可微的方式编码
Figure 83316DEST_PATH_IMAGE064
可以类似于第二函数26那样添加鉴别器的另外的函数,所述另外的函数向鉴别器添加另外的专家特征。例如,鉴别器12可以包括第三、第四、第五和第六函数,在这种情况下,将需要更改实现函数
Figure 605564DEST_PATH_IMAGE065
的组合块27,以组合可选的附加第三、第四、第五和第六函数。鉴别器12的第二函数26(如果存在)应该以可微的方式编码
Figure 179765DEST_PATH_IMAGE064
在一个示例中,到鉴别器12的第二函数26的输入是可微的。
根据一个实施例,到鉴别器模型的第二函数的输入定义了以下各项中的一个或多个:(i)每单位时间的载具停止的整数次,(ii)载具加速到预定速度的持续时间,(iii)载具减速到预定速度的持续时间,(iv)载具减速到零速度的持续时间,(v)载具速度对比路线曲率,(vi)载具速度对比路线倾斜度,(vii)载具速度对比总行程持续时间,(viii)每单位时间的换挡的整数次,(ix)达到预定速度的换挡函数,(x)达到预定速度的换挡函数,(xi)达到零速度的换挡函数,(xii)换挡函数对比路线曲率,(xiii)换挡函数对比路线倾斜度,(xiv)换挡函数对比总行程持续时间。
第二函数26的变体可以用作优化迭代的评估度量。除了使用专家特征来训练GAN(cGAN)之外,使用第二函数26来评测机器学习模型的生成输出的质量也是可能的。对于这样的评估步骤,例如,也可以使用不可微专家特征或不可微函数(诸如随机森林分类器)。
以此方式,特征也充当经训练模型的停止标准。虽然停止标准可以用于评估模型的质量,但是它也可以引导训练过程,并且如果停止标准落到期望阈值之下,则允许训练过程的提早停止。在没有基于专家特征的停止标准的情况下,这样的过程是不可能的,因为GAN的损失函数经常是振荡的。
根据一个实施例,提供了使用停止标准来停止生成器模型的迭代训练的步骤,其中停止标准是通过使用鉴别器模型的第二函数评估由生成器模型的迭代生成的至少一个合成数据系列而获得的,其中第二函数输出停止标准。
作为使用鉴别器12的第二函数26来停止训练过程的第一示例,考虑了用于排放模拟或负荷集中分析(组件磨损)的载具速度生成的情况。
生成载具速度以对排放或各种载具组件上的负荷进行建模。目标变量是速度的时间系列。鉴别器12的第二函数26被配置为从表示感兴趣的载具或场景的速度-加速度直方图的分布中采样。通过获得真实和合成时间系列样本集合来应用评估度量。训练分类模型(诸如随机森林),以预测速度轨迹的类(真实对比合成)。
对于经良好训练的模型,两个选项之间的分类准确性应该接近于随机——也就是50%。
随着鉴别器的训练和生成器的训练的进行而跟踪该准确性也提供了生成器10性能的良好指标。
在使用鉴别器12的第二函数26作为评估度量的另外示例中,再次考虑用于排放模拟或负荷集中分析的载具速度生成的情况。
作为使用鉴别器12的第二函数26来停止训练过程的第一示例,考虑了用于排放模拟或负荷集中分析(组件磨损)的载具速度生成的情况。
生成载具速度以对排放或各种载具组件上的负荷进行建模。目标变量是速度的数据系列。鉴别器12的第二函数26被配置为获得感兴趣的载具或场景在零速度下花费的时间。
评估度量是速度的真实和合成数据系列在零速度下花费的时间的平均值和标准偏差。对于经良好训练的模型,这些度量对于速度的真实和合成数据系列应该是相同的。除了平均值和标准偏差之外,还可以使用任何其他度量(或量度)以用于比较概率分布(诸如KL散度)。
根据第一方面的方法训练的机器学习模型是GAN还是cGAN并不重要。可以应用任何具有生成器的对抗机器学习模型。例如,可以提供包括包含第二函数26的鉴别器的对抗自动编码器。因此,在一个实施例中,根据第一方面的生成性机器学习模型是GAN、条件GAN或对抗自动编码器之一。
根据第二方面,提供了一种用于使用生成性机器学习模型生成表示载具或机器人的合成操作轮廓的合成数据样本的计算机实现方法。所述方法包括:
- 依据根据第一方面的方法获得的多个模型参数来配置生成性机器学习模型;
- 通过从被配置为提供伪随机向量的分布中采样来获得多个样本;
- 对分布的所述多个样本进行解码,以获得数据空间中的另外多个合成数据样本;以及
- 输出表示载具或机器人的合成操作轮廓的所述另外多个合成数据样本。
图3B图示了根据第二方面的用于使用生成性机器学习模型来生成表示载具的合成操作轮廓的合成数据样本的计算机实现方法。
图4B图示了数据生成器49的示例性结构,因为它可以在合成数据系列的生成期间使用。
样本生成器48对来自预定概率分布的噪声(
Figure 129266DEST_PATH_IMAGE066
)进行采样。可以例如使用密度估计器作为在一个或多个时间步长处的确认噪声(
Figure 405396DEST_PATH_IMAGE066
)的函数来确认概率密度,如图4A中所训练的那样。经训练生成器47(针对具有实现专家输入的第二函数26的鉴别器进行对抗训练,如随后将描述的)从在一个或多个时间步长处的确认噪声(
Figure 731335DEST_PATH_IMAGE066
)中随机抽取样本。生成器47基于在训练期间获得的生成器47的参数以及在一个或多个时间步长处的确认噪声(
Figure 160042DEST_PATH_IMAGE066
)的样本,生成合成数据系列
Figure 280445DEST_PATH_IMAGE067
例如,生成器47先前已经根据第一方面进行了训练。这涉及向对抗训练应用鉴别器中的第二函数26。第二函数26基于特定的技术需求来偏置鉴别器所测试的分布,诸如在一个示例中的速度-加速度直方图。因此,根据第二方面生成的合成数据系列更紧密地反映真实世界数据。
根据一个示例,根据第二方面生成的速度轮廓用于模拟排放,并用于符合排放标准的概率评测。
根据一个示例,生成的速度轮廓用于优化软件应用。
根据一个示例,生成的速度轮廓用于模拟载具排放。在一个示例中,生成的速度轮廓和/或模拟的载具排放可以应用于载具组件(诸如内燃机)或整个载具的软件表示(也称为数字孪生)。软件表示可以被配置为根据输入速度轮廓来优化载具的各种部件或其组件。例如,内燃机或变速箱部件的大小、布局和组件配置可以使用载具或其组件的软件表示来更改,其基于所生成的速度轮廓,该速度轮廓对于真实用例具有改进的准确性。因此,根据第一方面训练的机器学习模型的应用导致载具或机器人中包括的技术组件的有形设计改变。
根据一个示例,包括第二函数26的鉴别器12可以被应用于评估潜在速度轮廓,以评测给定路线是否关于真实行驶行为是相关的。
根据一个示例,根据第二方面的数据生成方法用于评测载具寿命内载具的个体组件(诸如泵)的负荷(磨损)。
根据一个示例,当载具正在行驶时,可以应用根据第二方面的数据生成方法。根据第二方面,发动机控制单元可以生成速度轮廓。替代地,发动机控制单元可以从存储器中获得根据第二方面计算的预先生成的速度轮廓。发动机控制单元可以依赖于生成的速度轮廓来控制发动机命令。
根据一个示例,第二方面的数据生成方法可以获得速度或加速度轮廓。速度或加速度轮廓可以用于生成定义电动载具电池耗尽、混合动力载具的驱动管理、再生制动系统的再生管理的轨迹,或者用于改进电动自行车的电池管理。
根据第三方面,提供了一种用于训练另外的机器学习模型以用于对载具的操作轮廓进行建模的计算机实现方法,包括:
- 获得如根据第二方面的计算机实现方法生成的表示载具的合成操作轮廓的另外多个合成数据系列;
- 将表示载具的合成操作轮廓的所述另外多个合成数据系列输入到另外的机器学习模型中;
- 迭代地训练所述另外的机器学习模型;以及
- 输出所述另外的机器学习模型的另外多个模型参数,以用于对载具的操作轮廓进行建模。
当根据第一方面的方法训练GAN或cGAN时,归因于鉴别器12的至少第二函数26的影响,根据第二方面的用于生成合成样本的计算机实现方法生成的数据更加现实。因此,根据第二方面的方法生成的合成数据在第三方面中被用于训练另外的机器学习模型。
根据第三方面训练的另外的机器学习模型是GAN还是cGAN并不重要。任何需要用于训练的数据的机器学习模型都可以使用根据第二方面的方法生成的合成数据。一个效果是更准确地训练另外的机器学习模型,因为用于训练它的合成数据已经根据并入鉴别器12的对抗模型而生成,鉴别器12具有将专家数据应用于鉴别器的第二函数26。
根据第四方面,提供了一种装置,用于训练生成性机器学习模型以用于对载具或机器人的操作轮廓进行建模,包括对抗地训练存储在存储器中的生成器模型和鉴别器模型。所述装置包括:
输入接口,被配置为从数据空间获得多个数据系列,其中每个数据系列描述载具的至少一个操作轮廓;以及处理器,被配置为在训练生成性机器学习模型时的至少一个生成阶段期间,通过从分布中采样来生成至少一个合成数据系列。
处理器被配置为在训练生成性机器学习模型时的至少一个鉴别阶段期间,将(i)来自多个获得的数据系列的数据系列,或者(ii)来自所述至少一个合成数据系列的合成数据系列输入到鉴别器模型中。
在训练生成性机器学习模型时的至少一个鉴别阶段期间,处理器被配置为使用鉴别器模型的至少第一和第二函数将到鉴别器模型的输入分类为来自数据空间的数据系列或合成数据系列。
第一函数的多个输入包括合成数据系列的多个连续样本,并且第二函数的至少一个输入包括从合成数据系列的不同步长取得的合成数据系列的至少两个数据样本;
处理器被配置为迭代地训练生成性机器学习模型的生成器模型和鉴别器模型,以产生包括经训练生成器模型的经训练机器学习模型。所述装置进一步包括输出接口,所述输出接口被配置为输出经训练机器学习模型。
在一个示例中,装置50是个人计算机、服务器、基于云的服务器或嵌入式计算机。处理发生在一个物理处理器上并不重要。例如,跨同一处理器上的多个处理器核,或者跨多个不同的处理器划分处理任务。处理器可以是Hadoop(TM)集群,或者在商业云处理服务上被提供。一部分处理可以在非常规处理硬件上执行,诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、一个或多个图形处理器、用于机器学习的专用处理器等等。
装置50的存储器58存储计算机程序,当该计算机程序被处理器54执行时,引起处理器50执行由根据第一、第二或第三方面的计算机实现方法描述的功能性。
根据一个示例,输入接口52和/或输出接口是USB接口、以太网接口、WLAN接口或能够实现从装置50输入和输出数据样本的其他合适的硬件之一。
在一个示例中,装置50进一步包括易失性和/或非易失性存储器系统58,其被配置为从输入接口52接收作为输入数据的输入观察。
在一个示例中,装置50是包含在载具内的汽车嵌入式计算机,在这种情况下,汽车嵌入式计算机可以连接到载具中存在的传感器和致动器。例如,装置50的输入接口52可以与提供速度、燃料消耗数据、电池数据、位置数据等的发动机控制单元ECU中的一个或多个对接。例如,装置50的输出接口56可以与多个制动致动器、节气门致动器、燃料混合物或燃料空气混合物致动器、涡轮增压器控制器、电池管理系统、汽车照明或娱乐系统等中的一个或多个对接。
根据第五方面,提供了一个或多个计算机程序元件,所述一个或多个计算机程序元件包括至少(i)用于根据第一方面或其实施例的方法来使用机器学习训练生成性机器学习模型的计算机可执行指令,和/或(ii)用于根据第三方面生成合成数据系列的计算机可执行指令,和/或(iii)包括用于提供根据第一方面或其实施例训练的生成性机器学习模型的模型参数的计算机可执行指令。
第五方面的计算机程序元件可以包括例如:
可存储在计算机存储器上的机器可读指令。
根据第六方面,提供了一种计算机可读介质,包括:
第五方面的一个或多个计算机程序元件。
图8示意性地图示了根据第七方面的载具,其并入被配置为应用根据第一方面训练的模型的控制器。
根据第七方面,提供了一种载具60,其包括被配置为提供动力以移动载具60的原动机61、多个传感器62a、62b、以及至少被配置为基于来自多个传感器62a、62b中的一个或多个的反馈来控制原动机61的载具电子单元63。载具电子单元63包括处理器,该处理器被配置为响应于根据第二方面的至少一个操作轮廓来实例化和实现经训练模型。
经训练模型被配置为从多个传感器62a、62b传感器接收输入信号,并将输入信号应用于经训练模型。处理器被配置为使用经训练模型来计算一个或多个响应信号。处理器被配置为响应于经由经训练模型获得的响应信号来调整载具60的一个或多个原动机61或另一输出致动器的配置。
根据一个实施例,原动机61可以是耦合到燃料和排气系统的内燃机、或者耦合到电池的电动机、或者混合动力系。
载具的操作轮廓可以优选地包括或可从载具的多个传感器62a、62b可检测的以下变量中的一个、一些或全部导出:载具的加速踏板位置、载具的制动踏板位置、载具的变速器的离合器位置、变速器的档位、机动载具的速度、载具的行驶阻力、内燃机的牵引力,载具电动驱动器的牵引力、内燃机组件的转速、内燃机每单位时间的进气量、内燃机进气歧管中的压力、高压EGR(废气再循环)的量、低压EGR的量、进给阀关闭的定时、排出阀打开的定时、用于改变内燃机压缩的系统的位置、喷射的喷射定时、高压燃料蓄压器(共轨)中的压力、内燃机的冷却剂温度或内燃机进气系统中的温度。
可以应用于模型的另外的参数或者在训练期间可以考虑的参数包括载具的质量、载具的传动比、载具驱动系统的最大驱动功率、驱动系统的最大扭矩、变速器的类型、燃料的类型、混动化的规格(specification of the hybridisation)、发动机的类型名称、载具的类型名称、诸如经由GPS记录驱动的路线的表征、环境温度、坡度参数、环境压力。
例如,经训练模型可以在行驶时使用,使得检测到的速度轮廓可以用于模拟潜在的未来排放,从而使得载具电子单元63能够调整原动机61的致动器,以确保控制命令被提供给原动机61,来确保载具排放永远不会超过限定的法规限制。在另一个示例中,经训练模型可以在行驶时用于预测在操作期间组件(诸如泵或制动盘)上磨损的负荷场景。
附图中提供并在前述书面描述中描述的示例意图用于提供对本公开原理的理解。不意图由此限制本公开的范围。本公开描述了对所图示示例的更改和修改。仅呈现了优选示例,并且在本公开的范围内对这些的所有改变、修改和另外的应用都期望受到保护。

Claims (15)

1.一种计算机实现方法(30),用于训练生成性机器学习模型以用于对载具或机器人的操作轮廓进行建模,包括对抗地训练生成器模型和鉴别器模型,其中所述方法包括:
- 从数据空间获得(32)多个数据系列,其中每个数据系列描述载具或机器人的至少一个操作轮廓;
- 在训练生成性机器学习模型时的至少一个生成阶段期间,通过从分布中采样来生成(33)多个合成数据系列;
- 在训练生成性机器学习模型时的至少一个鉴别阶段期间,将(i)来自多个获得的数据系列的数据系列,或者(ii)来自所述多个合成数据系列的合成数据系列输入(34)到鉴别器模型中;
- 在训练生成性机器学习模型时的至少一个鉴别阶段期间,使用鉴别器模型的至少第一和第二函数将到鉴别器模型的输入分类(35)为来自数据空间的数据系列或合成数据系列;
其中,第一函数(10)的多个输入包括合成数据系列的多个连续样本,并且第二函数(26)的至少一个输入包括从合成数据系列的不同步长取得的合成数据系列的至少两个数据样本;以及
- 迭代地训练(36)生成性机器学习模型的生成器模型和鉴别器模型,以产生包括经训练生成器模型的经训练机器学习模型。
2.根据权利要求1所述的计算机实现方法(30),
其中第一函数的输入是到鉴别器模型的输入的时间索引函数,并且第二函数的输入是到鉴别器模型的输入的可微函数。
3.根据权利要求1或2所述的计算机实现方法(30),进一步包括:
- 使用鉴别器神经网络来组合第一和第二函数的输出;
其中第一函数是递归神经网络,可选地是长短期记忆网络,和/或
其中第二函数是通过如下方式获得的:投影至少一个合成数据系列,并基于投影的至少一个合成数据系列和来自多个数据系列的至少一个数据系列的组合获得鉴别器模型的第二函数的结果;
其中鉴别器神经网络可选地计算鉴别器模型的第一和第二函数的线性组合。
4.根据前述权利要求中的一项所述的计算机实现方法(30),
其中包括在所述多个数据系列中的数据系列是时间系列或距离系列,并且其中所述多个合成数据系列中的合成数据系列是合成时间或距离数据系列。
5.根据前述权利要求中的一项所述的计算机实现方法(30),
其中,在至少一个生成阶段中,对潜在空间进行采样以提供所述多个合成数据系列。
6.根据前述权利要求中的一项所述的计算机实现方法(30),进一步包括:
- 使用至少一个停止标准来停止生成器模型的迭代训练,其中所述至少一个停止标准是通过使用鉴别器模型的第二函数评估由生成器模型的迭代生成的至少一个合成数据系列而获得的,其中第二函数输出停止标准。
7.根据前述权利要求中的一项所述的计算机实现方法(30),
其中基于表示载具速度的至少一个数据系列和表示合成载具速度的至少一个合成数据系列,在一系列值上评估鉴别器模型的第二函数,所述一系列值从由真实或合成数据系列所得的分布中采样;或者
其中鉴别器模型的第二函数被配置为基于表示载具速度的至少一个合成数据系列来评估零速度下花费的时间;或者
其中所述多个数据系列描述载具的多个操作轮廓,包括沿着路线行驶的载具的速度系列、发动机温度、发动机速度、踏板位置、转向角或换挡函数中的至少一个,并且到鉴别器模型的第二函数的输入包括从速度-加速度直方图采样的多个速度-加速度对;或者
其中所述多个数据系列描述自主或半自主机器人的多个操作轮廓,包括位移系列、速度系列或表示自主或半自主机器人的致动器位置的系列中的至少一个。
8.根据前述权利要求中的一项所述的计算机实现方法(30),
其中鉴别器模型的输出由下式定义
Figure DEST_PATH_IMAGE001
其中
Figure 733700DEST_PATH_IMAGE002
其中
Figure DEST_PATH_IMAGE004A
是第一函数,
Figure DEST_PATH_IMAGE006A
是第二函数,并且
Figure DEST_PATH_IMAGE007
Figure 775474DEST_PATH_IMAGE008
是投影,可选地实现 为多层感知器。
9.根据权利要求1至8中的一项所述的计算机实现方法(30),
其中输入到鉴别器模型的第二函数的数据系列定义以下各项中的一个或多个:每单位时间的载具停止的整数次、载具加速到预定速度的持续时间、载具减速到预定速度的持续时间、载具减速到零速度的持续时间、载具速度对比路线曲率、载具速度对比路线倾斜度、载具速度对比总行程持续时间、每单位时间的换挡的整数次、达到预定速度的换挡函数、达到预定速度的换挡函数、达到零速度的换挡函数、换挡函数对比路线曲率、换挡函数对比路线倾斜度、换挡函数对比总行程持续时间、机器人致动器位置。
10.根据前述权利要求中的一项所述的计算机实现方法(30),
其中经训练生成性机器学习模型被配置为生成多个合成数据系列,与在鉴别器模型中不使用第二函数的情况下会生成的多个合成数据系列的统计分布相比,所述多个合成数据系列具有更类似于所述多个数据系列的统计分布的统计分布。
11.一种用于使用生成性机器学习模型生成表示载具或机器人的合成操作轮廓的合成数据样本的计算机实现方法(30),包括:
- 依据根据权利要求1至10中的一项的方法获得的多个模型参数来配置生成性机器学习模型;
- 通过从被配置为提供伪随机向量的分布中采样来获得多个样本;
- 对分布的所述多个样本进行解码,以获得数据空间中的另外多个合成数据样本;以及
- 输出表示载具或机器人的合成操作轮廓的所述另外多个合成数据样本。
12.一种装置(50),用于训练生成性机器学习模型以用于对载具或机器人的操作轮廓进行建模,包括对抗地训练存储在存储器中的生成器模型和鉴别器模型,所述装置包括:
- 输入接口(52),被配置为从数据空间获得多个数据系列,其中每个数据系列描述载具或机器人的至少一个操作轮廓;
- 处理器(54),被配置为在训练生成性机器学习模型时的至少一个生成阶段期间,通过从分布中采样来生成至少一个合成数据系列;
- 其中处理器被配置为在训练生成性机器学习模型时的至少一个鉴别阶段期间,将(i)来自多个获得的数据系列的数据系列,或者(ii)来自所述至少一个合成数据系列的合成数据系列输入到鉴别器模型中;
- 在训练生成性机器学习模型时的至少一个鉴别阶段期间,处理器被配置为使用鉴别器模型的至少第一和第二函数将到鉴别器模型的输入分类为来自数据空间的数据系列或合成数据系列;
其中第一函数的多个输入包括合成数据系列的多个连续样本,并且第二函数的至少一个输入包括从合成数据系列的不同步长取得的合成数据系列的至少两个数据样本;
- 其中处理器被配置为迭代地训练生成性机器学习模型的生成器模型和鉴别器模型,以产生包括经训练生成器模型的经训练机器学习模型;并且其中所述装置进一步包括:
- 输出接口(56 ),被配置为输出经训练机器学习模型。
13.一个或多个计算机程序元件,包括至少(i)用于根据权利要求1至10中的一项的方法来使用机器学习训练生成性机器学习模型的计算机可执行指令,和/或(ii)用于根据权利要求11生成合成数据系列的计算机可执行指令,和/或(iii)包括用于提供根据权利要求1至10中的一项训练的生成性机器学习模型的模型参数的计算机可执行指令。
14.一种包括权利要求13的一个或多个计算机程序元件的计算机可读介质。
15.一种用于训练另外的机器学习模型以用于对载具的操作轮廓进行建模的计算机实现方法(40),包括:
- 获得(41)如根据权利要求11的计算机实现方法生成的表示载具的合成操作轮廓的另外多个合成数据系列;
- 将表示载具的合成操作轮廓的所述另外多个合成数据系列输入(42)到另外的机器学习模型中;
- 迭代地训练(43)所述另外的机器学习模型;以及
- 输出(44)所述另外的机器学习模型的另外多个模型参数,以用于对载具的操作轮廓进行建模。
CN202111474484.XA 2020-12-04 2021-12-06 对载具操作轮廓进行建模 Pending CN114595508A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020215350.7 2020-12-04
DE102020215350.7A DE102020215350A1 (de) 2020-12-04 2020-12-04 Modellieren von betriebsprofilen eines fahrzeugs

Publications (1)

Publication Number Publication Date
CN114595508A true CN114595508A (zh) 2022-06-07

Family

ID=81655225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111474484.XA Pending CN114595508A (zh) 2020-12-04 2021-12-06 对载具操作轮廓进行建模

Country Status (5)

Country Link
US (1) US20220180249A1 (zh)
JP (1) JP2022089806A (zh)
KR (1) KR20220079478A (zh)
CN (1) CN114595508A (zh)
DE (1) DE102020215350A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019205520A1 (de) * 2019-04-16 2020-10-22 Robert Bosch Gmbh Verfahren zum Ermitteln von Fahrverläufen
EP3923210A1 (en) * 2020-06-01 2021-12-15 Replica Analytics Generation of synthetic data
JP7468726B1 (ja) 2023-02-16 2024-04-16 いすゞ自動車株式会社 データ生成装置及びデータ生成方法

Also Published As

Publication number Publication date
JP2022089806A (ja) 2022-06-16
KR20220079478A (ko) 2022-06-13
DE102020215350A1 (de) 2022-06-09
US20220180249A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
CN114595508A (zh) 对载具操作轮廓进行建模
Martinez et al. Driving style recognition for intelligent vehicle control and advanced driver assistance: A survey
Liu et al. Hybrid electric vehicle downshifting strategy based on stochastic dynamic programming during regenerative braking process
CN106536315B (zh) 用于评价和/或优化车辆的运行特性的系统
CN106660563B (zh) 用于分析机动车、尤其是机动车的设备的能效的系统和方法
CN106662501B (zh) 用于分析车辆的能效的系统和方法
US20180186360A1 (en) Hybrid vehicle and method of predicting driving pattern in the same
Nyberg et al. Using real-world driving databases to generate driving cycles with equivalence properties
EP3859192B1 (en) Device, method and machine learning system for determining a state of a transmission for a vehicle
CN114556248A (zh) 用于确定传感器配置的方法
Song et al. Estimating the maximum road friction coefficient with uncertainty using deep learning
Ozkan et al. Modeling driver behavior in car-following interactions with automated and human-driven vehicles and energy efficiency evaluation
CN112406875B (zh) 一种车辆能耗的分析方法和装置
Koenig et al. Bridging the gap between open loop tests and statistical validation for highly automated driving
George et al. Driving Range Estimation of Electric Vehicles using Deep Learning
US11801836B2 (en) Enhanced vehicle operation
Ma et al. Personalized driving behaviors and fuel economy over realistic commute traffic: Modeling, correlation, and prediction
Kan et al. A deep learning engine power model for estimating the fuel consumption of heavy-duty trucks
Reddy Driving behaviour classification: An eco-driving approach
Lian et al. Multiagent Deep Reinforcement Learning for Automated Truck Platooning Control
Zhang Vehicle Parameters Estimation and Driver Behavior Classification for Adaptive Shift Strategy of Heavy Duty Vehicles
Simonis et al. Route specific driver characterization for data-based range prediction of battery electric vehicles
EP3859614A1 (en) Device, method and machine learning system for determining a velocity for a vehicle
Kumar et al. A meta-heuristic-based energy efficient route modeling for EV on non-identical road surfaces
Zlocki et al. Methodology for quantification of fuel reduction potential for adaptive cruise control relevant driving strategies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination