CN113168176A - 产生用于训练自动驾驶的实际模拟数据的系统及方法 - Google Patents

产生用于训练自动驾驶的实际模拟数据的系统及方法 Download PDF

Info

Publication number
CN113168176A
CN113168176A CN201980081430.1A CN201980081430A CN113168176A CN 113168176 A CN113168176 A CN 113168176A CN 201980081430 A CN201980081430 A CN 201980081430A CN 113168176 A CN113168176 A CN 113168176A
Authority
CN
China
Prior art keywords
agent
image
model
environment
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081430.1A
Other languages
English (en)
Inventor
丹·阿特斯蒙
伊兰·阿萨
埃胡德·史匹格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognata Ltd
Original Assignee
Cognata Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognata Ltd filed Critical Cognata Ltd
Publication of CN113168176A publication Critical patent/CN113168176A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种产生用于训练自动驾驶代理的模拟数据而用于训练一模型的方法，包括分析从一驾驶环境收集的实际输入数据，以识别多个环境类别、多个移动代理类别及多个移动模式类别；根据所述多个环境类别中的一环境类别来产生一训练环境；及在多个训练迭代中的至少一种：根据训练环境且根据多个产生的训练代理而通过一模拟产生模型来产生一模拟驾驶环境，每一个产生的训练代理与多个移动代理类别中的一个及多个移动模式类别中的一个相关联；从所述模拟驾驶环境中收集模拟驾驶数据；及修改所述模拟产生模型的至少一模型参数，以最小化使用所述模拟驾驶数据所计算出的模拟统计指纹及使用所述实际输入数据所计算出的实际统计指纹之间的差异。

Description

产生用于训练自动驾驶的实际模拟数据的系统及方法
相关申请
本申请声明于2018年10月17日提交的美国临时专利申请第62/746,607号的优先权，其内容通过整体引用而并入本文。
技术领域
在本发明的一些实施例中涉及创建一地理区域的一模拟模型，而且更具体地但不仅限于创建可选地包括车辆交通以产生用于训练自动驾驶系统的模拟传感数据的一地理区域的一模拟模型。
在产生用于训练自动驾驶系统的模拟数据时，需要产生表现出实际行为和实际外观的数据(例如用于视觉传感器)。
对于展示用于训练自动驾驶的实际行为的模拟环境，需要模拟表示其他移动物体的代理。这些移动物体中的每一个都是车辆或行人，驾驶依照某种驾驶模式，控制模拟中移动物体的行为(例如：鲁莽的驾驶往往比稳重的驾驶与前方车辆保持更短的距离)。训练自动驾驶系统可以包括提供自动驾驶系统模拟传感数据，所述数据包括代表其他移动物体的代理，并且根据模拟传感数据分析自动驾驶系统的动作。
在一些用于训练自动驾驶系统的系统中，模拟传感数据包括多个图像。视频是图像的序列，即多个图像按序列排列。逼真合成图像是看起来好像是由相机拍摄的图像。渲染引擎(rendering engine)可以根据所需图像的语义描述产生合成图像。但是，渲染引擎产生的许多图像看起来不逼真。导致图像显得不真实的一些特征为：图像某些区域的颜色饱和度；天空、道路或图像中任何其他表面的颜色渐变(或缺少渐变)；以及照明和阴影。
需要为各种应用产生逼真的合成环境。训练自动驾驶系统的机器学习模型是需要逼真合成环境的一个例子。其他示例是视频游戏、计算机所产生的动画电影和计算机增强电影。产生逼真图像的一种可能方法是使用图像细致模型来细致由模拟产生模型(上面称为渲染引擎)生成的合成图像。
发明内容
本发明的一目的是提供一种用于产生模拟数据的系统和方法，并且更具体地但不限于产生用于训练自动驾驶系统的用途的模拟数据。
上述和其他目的是通过独立权利要求的特征实现的。由从属权利要求、说明书和附图，进一步的实施形式是显而易见的。
根据本发明的第一方面，一种产生用于训练自动驾驶代理的模拟数据而用于训练一模型的方法，包括：分析从一驾驶环境收集的实际输入数据，以识别多个环境类别、多个移动代理类别以及多个移动模式类别；根据所述多个环境类别中的一环境类别来产生一训练环境；以及在多个训练迭代中的至少一种：根据所述训练环境且根据多个产生的训练代理而通过一模拟产生模型来产生一模拟驾驶环境，每一个产生的训练代理与多个移动代理类别中的一个以及多个移动模式类别中的一个相关联；从所述模拟驾驶环境中收集模拟驾驶数据；以及修改所述模拟产生模型的至少一模型参数，以最小化使用所述模拟驾驶数据所计算出的一模拟统计指纹以及使用所述实际输入数据所计算出的一实际统计指纹之间的一差异。
根据本发明的第二方面，一种产生用于训练自动驾驶代理的模拟数据而用于训练一模型的系统，包括至少一硬件处理器，所述至少一硬件处理器适用于：分析从一驾驶环境中收集的实际输入数据，以识别多个环境类别、多个移动代理类别以及多个移动模式类别；根据多个环境类别中的一个环境类别来产生一训练环境；在多个训练迭代中的至少一种：根据多个产生的训练代理而通过一模拟产生模型来产生一模拟驾驶环境，每一个产生的训练代理与多个移动代理类别中的一个以及多个移动模式类别中的一个相关联；从所述模拟驾驶环境中收集模拟驾驶数据；以及修改所述模拟产生模型的多个模型参数，以最小化使用所述模拟驾驶数据所计算出的一模拟统计指纹以及使用所述实际输入数据所计算出的一实际统计指纹之间的一差异。
根据本发明的第三方面，一种创建用于训练自动驾驶代理的数据的方法，所述方法包括：存取由以下训练的一模拟产生模型：分析从一驾驶环境收集的实际输入数据，以识别多个环境类别、多个移动代理类别及多个移动模式类别；根据多个环境类别中的一环境类别来产生一训练环境；在多个训练迭代中的每一种：根据所述训练环境且根据多个产生的训练代理而通过所述模拟产生模型来产生一模拟驾驶环境，每一个产生的训练代理与多个移动代理类别中的一个以及多个移动模式类别中的一个相关联；从所述模拟驾驶环境中收集模拟驾驶数据；以及修改所述模拟产生模型的多个模型参数，以最小化使用所述模拟驾驶数据所计算出的一模拟统计指纹以及使用所述实际输入数据所计算出的一实际统计指纹之间的一差异；接收多个环境类别中的一新环境类别；以及指示至少一其他硬件处理器用以：根据所述新环境类别而产生一模拟环境；产生多个模拟代理，每个模拟代理与多个其他移动代理类别中的一个以及多个其他移动模式类别中的一个相关联；以及根据所述模拟环境以及所述多个模拟代理而通过所述模拟产生模组来产生一模拟驾驶环境。
根据本发明的第四方面，一种产生用于训练自动驾驶代理的模拟数据而用于训练一图像细化模型的方法，所述方法包括：对于多个图像细化模型中的每一个，训练所述图像细化模型以产生一细化图像，所述细化图像响应于包括一合成图像的输入；通过为所述多个图像细化模型中的每一个计算表示相应细化图像的真实质量的一模型分数来计算多个模型分数，所述相应细化图像通过响应于包括所述合成图像的输入的所述相应图像细化模型产生，而且参考所述合成图像来表示相应细化图像的内容保存质量；以及选择多个图像细化模型的一图像细化模型，所述图像细化模型具有多个模型分数中的一优选模型分数。
根据本发明的第五方面，一种产生用于训练自动驾驶代理的模拟数据而用于训练一图像细化模型的系统，所述系统包括至少一硬件处理器，所述至少一硬件处理器适于：对于多个图像细化模型中的每一个，训练所述图像细化模型以产生一细化图像，所述细化图像响应于包括一合成图像的输入；通过为所述多个图像细化模型中的每一个进行计算表示相应细化图像的真实质量的一模型分数来计算多个模型分数，所述相应细化图像由响应于包括所述合成图像的输入的相应图像细化模型而产生，而且参考合成图像来表示相应细化图像的内容保存质量；以及选择多个图像细化模型的一图像细化模型，所述图像细化模型具有多个模型分数中的一优选模型分数。
根据本发明的第六方面，一种产生用于训练自动驾驶代理的模拟数据的方法，所述方法包括：存取由以下训练的一图像细化模型：对于多个图像细化模型中的每一个，训练所述图像细化模型以产生一细化图像，所述细化图像响应于包括一合成图像的输入；通过为所述多个图像细化模型中的每一个进行计算表示相应细化图像的真实质量的一模型分数来计算多个模型分数，所述相应细化图像由响应于包括所述合成图像的输入的相应图像细化模型而产生，而且参考合成图像来表示相应细化图像的内容保存质量；以及选择多个计算产生模型的一计算产生模型，所述计算产生模型具有多个模型分数中的一优选模型分数；以及指示至少一硬件处理器通过所述图像细化模型产生至少一细化输出图像，所述至少一细化输出图像响应于经由一输入接口从一环境产生引擎接收的至少一输入合成图像。
结合第一方面和第二方面，在本发明第一方面和第二方面的第一种可能的实现方式中，所述实际输入数据包括环境数据以及代理数据；所述环境数据包含描述所述驾驶环境的多个环境属性的多个环境值；以及所述代理数据包含对于操作在所述驾驶环境中的多个代理中的每一个代理的多个代理属性的多个代理值，多个代理值的每一个代理值描述相应代理的一外观以及相应代理的在所述驾驶环境中的一行为。使用多个环境属性的多个环境值来描述驾驶环境以及使用多个代理属性的多个代理值来描述代理在驾驶环境中的外观和行为，有助于产生一个或多个模拟代理，真实地表示在实际输入数据中检测到的一个或多个代理，增加使用一个或多个模拟代理训练模型的输出的准确性，从而增加使用一个或多个模拟代理训练的模型的输出训练的自动驾驶代理的准确性。可选地，所述多个环境值中的至少一个选自一组环境值，所述一组环境值包括：一天中的时间值、一周中的天数值、一年中的月数值、温度值、空气清晰度量值、降水值、降水类型值、风速值、风向值、光量值、人造光指示值、人群密度量值、倾斜值、弯道方向值、弯道半径值以及道路水平角度值。可选地，多个代理值中的至少一个选自一组代理值，所述一组代理值包括：高度值、宽度值、纵向速度值、横向速度值、纵向加速度值、横向加速度值、纵向距离值、横向距离值、纵向值、横向值、交通违规指示值、对向车道指示值、路肩指示值、碰撞指示值、其他代理通过量、转换时间值、转换延迟时间值、出站转换角度值以及入站转换角度值。可选地，所述多个环境类别中的每一个环境类别包括多个环境值中的至少一些。可选地，所述多个移动代理类别中的每一个移动代理类别描述一移动代理，所述移动代理选自一组可能的移动代理，所述一组可能的移动代理包括：汽车、卡车、机动交通工具、火车、船、空中交通工具、水上飞机、电动滑板车、滑板车、自行车以及行人；以及所述多个移动代理类别中的每一个移动代理类别包括多个代理概率，当所述驾驶环境由所述多个环境类别中的一第一环境类别描述时，每一个代理概率表示与相应移动代理类别相关联的一移动代理的一可能性，以展示由所述多个代理值中识别出的多个代理值所描述的一代理行为。使用多个代理概率有助于模拟一个或多个模拟代理的实际行为，增加使用一个或多个模拟代理训练模型的输出的准确性，从而增加使用一个或多个模拟代理训练的模型的输出训练的自动驾驶代理的准确性。可选地，所述多个移动模式类别中的每一个移动模式类别描述一行动者，所述行动者选自一组可能的行动者，所述一组可能的行动者包括：行人、自行车骑士、交通工具驾驶员；以及所述多个移动模式类别中的每一个移动模式类别包括多个行动者概率，当所述驾驶环境由多个环境类别中的一第二环境类别描述时，每一个行动者概率表示与相应移动模式类别相关联的一行动者的一可能性，以展示由所述多个代理值中识别出的多个代理值的移动模式所描述的一行动者行为。使用多个移动模式概率有助于模拟一个或多个模拟代理的实际行为，提高使用一个或多个模拟代理训练模型的输出的准确性，从而提高使用一个或多个模拟代理训练的模型的输出训练的自动驾驶代理的准确性。
结合第一方面和第二方面，在本发明第一方面和第二方面的第二种可能的实现方式中，分析所述实际输入数据包括对多个代理值应用一变换。对实际输入数据应用转换允许对齐一个或多个传感器捕获的一个或多个信号，从而提高多个环境类别、多个移动代理类别和多个移动类别的准确度，也因而提高根据多个移动代理类别、多个移动类别以及多个环境类别中的一种的产生模拟驾驶环境的准确性。增加模拟驾驶环境的准确性会增加使用模拟驾驶环境训练的模型的输出的准确性，从而增加使用模型的输出训练的自动驾驶代理的准确性。
结合第一方面和第二方面，在本发明第一方面和第二方面的第三种可能的实现方式中，所述实际统计指纹是使用所述多个环境值以及所述多个代理值来计算。可选地，所述模拟驾驶数据包括模拟环境数据以及模拟代理数据。可选地，所述模拟环境数据包括描述所述模拟驾驶环境的所述多个环境属性的多个模拟环境值；对于所述多个产生的训练代理中的每一个产生的训练代理，所述模拟代理数据包括所述多个代理属性的多个模拟代理值，所述多个模拟代理值的每一个模拟代理值描述相应产生的训练代理的一外观以及在相应产生的训练代理的所述模拟驾驶环境中的一行为；以及所述模拟统计指纹是使用多个模拟环境属性值以及所述多个模拟代理值来计算。使用多个环境值和多个代理值计算实际统计指纹，以及使用多个模拟环境属性值和多个模拟代理值计算模拟统计指纹增加了模拟驾驶环境和实际驾驶环境之间比较的准确性，因此减少了训练模型以产生模拟数据所需的时间，从而降低了模型的开发成本。此外，使用这种模拟统计指纹和实际统计指纹增加了使用模拟驾驶环境训练的模型的输出的准确性。
结合第一方面和第二方面，在本发明第一方面和第二方面的第四种可能的实现方式中，所述多个环境类别、所述多个移动代理类别以及所述多个移动模式类别中的至少一些，通过使用至少一个机器学习模型来识别以分析实际输入数据。可选地，所述多个环境类别、所述多个移动代理类别以及所述多个移动模式类别中的至少一些，通过对实际输入数据应用至少一种统计分析方法来识别。可选地，当所述实际输入数据的至少一些是从所述驾驶环境中收集时，所述实际输入数据还包含表示一种或多种环境条件的至少一标签；以及分析所述实际输入数据包括使用至少一标签中的至少一些。
结合第一方面和第二方面，在本发明第一方面和第二方面的第五种可能的实现方式中，根据所述多个产生的训练代理来产生所述模拟驾驶环境包含：将所述多个产生的训练代理中的每一个产生的训练代理与所述多个移动代理类别的一移动代理类别以及多个移动模式类别的一移动模式类别相关联；以及根据以下条件为所述多个产生的训练代理中的每一个产生的训练代理来产生模拟行为数据：1)根据一个环境类别的相应移动代理类别的多个代理概率，以及2)根据一个环境类别的相应移动模式类别的多个行动者概率。可选地，产生模拟驾驶环境还包括为所述多个移动代理类别中的每个移动代理类别以及所述多个移动模式类别中的每个移动模式类别来计算一概率分数。可选地，所述多个移动代理类别中的一移动代理类别是根据相应概率分数而与一产生的训练代理相关联；以及所述多个移动模式类别中的一移动模式类别是根据相应概率分数而与一产生的训练代理相关联。可选地，产生模拟驾驶环境还包括根据相应概率分数在所述多个移动代理类别中识别出至少一不太可能的移动代理类别；以及根据高于由相应概率分数的一初始代理概率的一代理概率，将所述多个产生的训练代理中的至少一个与至少一个不太可能的移动代理类别中的一个相关联。产生至少一个与不太可能的移动代理类别相关联的训练代理，允许确保在模拟环境中训练的自动驾驶代理遇到由不太可能的移动代理类别所描述的行为，而不是实际驾驶条件所要求的，从而提高自动驾驶代理输出的准确性。可选地，产生模拟驾驶环境还包括根据相应概率分数在所述多个移动模式类别中识别出至少一个不太可能的移动模式类别；以及根据高于由相应概率分数的一初始行动者概率的一行动者概率，将所述多个产生的训练代理中的至少一个与至少一个不太可能的移动模式类别中的一个相关联。产生至少一个与不太可能的移动模式类别相关联的训练代理，可以确保在模拟环境中训练的自动驾驶代理比实际驾驶条件更频繁地遇到由不太可能的移动模式类别所描述的行为，从而提高自动驾驶代理输出的准确性。
结合第一方面和第二方面，在本发明第一方面和第二方面的第六种可能的实现方式中，训练所述模型还包括根据所述多个环境类别中的其他环境类别来产生其他训练环境；以及在多个其他训练迭代中的每个其他训练迭代中：根据所述其他训练环境以及根据多个其他产生的训练代理，通过其他模拟产生模型来产生其他模拟驾驶环境，每个其他产生的训练代理与所述多个移动代理类别中的一个以及所述多个移动模式类别中的一个相关联；从所述其他模拟驾驶环境中收集其他模拟驾驶数据；以及修改所述其他模拟产生模型的多个其他模型参数，以最小化使用所述其他模拟驾驶数据所计算出的其他模拟统计指纹以及使用所述实际输入数据所计算的所述实际统计指纹之间的其他差异。使用在实际输入数据中识别的多个环境类别、多个移动代理类别和多个移动模式类别来产生一个以上的训练环境，降低了模型的开发成本。
结合第一方面和第二方面，在本发明第一方面和第二方面的第七种可能的实现方式中，所述实际输入数据包括由选自一组传感器的至少一传感器所收集的实际数据，所述组传感器包括：相机、电磁辐射传感器、雷达、光探测和测距传感器(LIDAR)、麦克风、温度计、加速度计以及摄像机。
结合第一方面和第二方面，在本发明第一方面和第二方面的第八种可能的实现方式中，所述至少一硬件处理器还适于输出所述模拟产生模型至一非易失性数字存储器，所述非易失性数字存储器连接所述至少一硬件处理器。可选地，所述至少一硬件处理器还适于通过至少一数字通信网络接口接收所述实际输入数据，所述数字通信网络接口连接所述至少一硬件处理器。可选地，所述至少一硬件处理器还适于通过所述至少一数字通信网络接口输出所述模拟产生模型。通过至少一个数字通信网络接口输出模拟产生模型，有利于在一个以上的模拟产生系统中使用名称产生模型，以降低使用模拟产生模型的模拟产生系统的实现成本。
结合第四方面和第五方面，在本发明第四方面和第五方面的第一种可能的实现方式中，所述模型分数通过以下方式来计算：生产多个细化输出图像，每个细化输出图像通过响应于包括多个测试图像中的一个的输入的所述相应图像细化模型产生；计算多个图像自距离分数，每个图像自距离分数表示参考相应测试图像的多个细化输出图像中的一个的内容保存质量；计算多个真实分数，每个真实分数表示多个细化输出图像中的一个的真实质量；计算多个图像质量分数，每个图像质量分数表示所述多个细化输出图像中的一个的图像质量；通过以下方式计算一面向任务分数：计算一第一分类器模型的一训练分数，所述训练分数使用多个细化输出图像来训练，而且表示所述第一分类器模型对多个实际图像进行分类的一成功率；及计算一第二分类器模型的一测试分数，所述测试分数使用多个实际图像来训练，而且表示所述第二分类器模型对所述多个细化输出图像进行分类的一成功率；以及使用所述多个图像自距离分数、多个特征分数、多个图像质量分数以及所述面向任务分数来计算所述模型分数。可选地，计算所述模型分数包括计算从一组条件项中选择的至少一条件项，所述一组条件项包括：多个图像自距离分数的平均值、多个图像自距离分数的标准差、多个图像自距离分数的总和、多个真实分数的平均值、多个真实分数的标准差、多个真实分数的总和、多个图像质量分数的平均值、多个图像质量分数的标准差以及多个图像质量分数的总和。可选地，计算多个真实分数包括计算多个特征分数，每个特征分数表示以下之间的一距离：1)多个细化输出图像中的一个的多个细化特征，以及2)从与相应测试图像相等的一目标实际图像中提取的多个特征。可选地，所述多个特征分数中的至少一个是弗雷谢起始距离(FID)。可选地，计算多个真实分数包括计算多个重建分数，每个重建分数表示多个细化输出图像的一细化图像与一重建图像之间的一差异，所述重建图像由通过一重建模型被训练的一损坏细化图像进行重建，以重建实际图像。使用多个图像自距离分数、多个特征分数、多个图像质量分数和面向任务分数来计算模型分数，以允许模型分数反映模型质量的一个或多个度量，此外，允许调整一个或多个度量如何反映在模型分数中，以提高模型分数相对于识别目标的准确度，从而提高图像细化模型输出的准确度。
结合第四方面和第五方面，或第四方面和第五方面的第一实现方式，在本发明第四方面和第五方面的第二种可能的实现方式中，所述多个图像质量分数中的每一个都在0到1的范围内归一化。可选地，所述多个真实分数中的每一个都在0到1的范围内标准化。可选地，所述多个图像自距离分数中的每一个都在0到1的范围内归一化。对用于计算模型分数的一个或多个分数进行归一化，有助于在计算模型分数时应用一个或多个权重，从而提高模型分数的准确性。
结合第四方面和第五方面，或第四方面和第五方面的第一实现方式，在本发明第四方面和第五方面的第三种可能的实现方式中，所述第一分类器为一第一语义分割分类器；以及所述训练分数是一第一F1分数，所述第一F1分数表示由所述第一分类器来正确分类的所述多个细化输出图像中的每一个的多个像素的一第一百分比。可选地，所述第二分类器为一第二语义分割分类器；以及所述测试分数是一第二F1分数，所述第二F1分数表示由所述第二分类器来正确分类的所述多个实际图像中的每一个的多个像素的一第二百分比。
本发明的其他系统、方法、特征和优点对于本领域技术人员在检查以下附图和详细描述后将变得或变得显而易见。用意在于将所有这样的附加系统、方法、特征和优点包括在本说明书中，在本发明的范围内，并且受到所附权利要求的保护。
除非另有定义，本文使用的所有技术和/或科学术语与本发明所属领域的普通技术人员通常理解的含义相同。尽管在本发明的实施例的实践或测试中可以使用与本文中描述的那些相似或等效的方法和材料，但是示例性方法和/或材料在下面描述。如果发生冲突，以专利说明书(包括定义)为准。此外，材料、方法和实施例仅是说明性的，并不是指在进行必要的限制。
附图说明
本发明的一些实施例在此仅通过示例并参考附图来描述。现在具体详细地参考附图，强调所显示的细节是通过示例的方式并且出于对本发明的实施例的说明性讨论的目的。在这点上，结合附图的描述使本领域技术人员清楚知道如何实践本发明的实施例。
在附图中：
图1是根据本发明的一些实施例用于产生模拟数据而用于训练一模型的示例性系统的示意框图。
图2是示意性地表示根据本发明的一些实施例用于产生模拟数据而用于训练一模型的可选操作流程的流程图。
图3是示意性地表示根据本发明的一些实施例用于产生代理的可选操作流程的流程图。
图4是示意性地表示根据本发明的一些实施例用于产生模拟数据而用于训练一模型的另一可选操作流程的流程图。
图5是示意性地表示根据本发明的一些实施例用于产生模拟数据的可选操作流程的流程图。
图6是根据本发明的一些实施例用于训练图像细致模型的示例性系统的示意框图。
图7是示意性地表示根据本发明的一些实施例用于训练图像细致模型的可选操作流程的流程图。
图8是示意性地表示根据本发明的一些实施例用于计算图像细致模型的模型分数的可选操作流程的流程图。
图9是示意性地表示根据本发明的一些实施例用于产生模拟数据的另一可选操作流程的流程图。
具体实施方式
在本发明一些实施例中涉及创建一地理区域的一模拟模型，并且更具体地但限于涉及创建可选地包括车辆交通以产生用于训练自动驾驶系统的模拟传感数据的一地理区域的一模拟模型。
为简洁起见，此后术语“代理”用于表示“模拟代理”并且这些术语可互换使用。此外，为简洁起见，术语“自动驾驶”用于表示“自动驾驶系统”并且这些术语可互换使用。
在产生用于训练和测试的模拟环境领域，通常使用随机值来模拟实际世界的情况。因此，一些产生用于训练自动驾驶系统的模拟数据的系统是产生模拟移动物体的随机移动模式的代理。为模拟代理产生随机移动模式的一种可能方式是产生模拟代理的随机移动特征。代理的移动特征的一些例子为：向前速度、向前加速度、横向速度以及横向加速度。代理的一些移动特性与距离有关，例如与车道边界的距离，以及与在代理所代表的移动物体前面移动的另一个移动物体的距离。代理的一些移动特征与通过其他移动物体有关，例如与移动物体前方的另一个物体的距离、与移动物体一侧的另一个物体的距离、从车道转换角度以及转换到原始车道的角度。代理的一些移动特性与车道转换有关，例如车道转换角度、车道转换方向以及在两条或多条车道之间转换时与另一物体的距离。代理的一些移动特征与行人移动有关，例如行人停止以及行人由人行道转换到街道之间的时间量。代理的一些移动特性与碰撞有关，例如碰撞角度、对车辆的撞击位置以及对行人的撞击位置。代理的一些移动特征与交通规则有关，例如车辆或行人闯红灯，车辆在车道上以与车道方向相反的方向移动以及车辆在路肩上移动。一些移动特征表示行人在哪里过马路，例如在指定的人行穿越道、街角和直路中间。
为模拟代理产生随机移动模式的另一种可能方法是在模拟的每个点随机产生模拟代理的行为。但是，需要产生模拟实际驾驶模式而不仅仅是随机驾驶模式的代理。
本发明不是随机产生模拟代理的驾驶特性，或者在模拟的每个点随机产生模拟代理的行为，在本发明的一些实施例中，提出从实际交通环境收集的实际交通数据中学习实际移动物体特征和实际移动模式。在这样的实施例中，本发明进一步提出根据学习到的移动物体特征和实际移动模式产生一个或多个模拟代理，使得每个模拟代理都反映实际类型的移动物体(即车辆或行人)和实际交通环境中的实际类型的移动模式。可选地，模拟产生模型使用一个或多个模拟代理产生模拟驾驶环境。模拟驾驶环境可用于训练自动驾驶系统。附加或替代地，模拟驾驶环境可用于测试自动驾驶系统。根据学习到的移动物体特征和实际移动模式产生模拟代理，提高了使用模拟代理产生的模拟驾驶环境的准确性，并增加了有价值的模拟案例，从而提高使用模拟驾驶环境训练的系统的输出的准确性，例如自动驾驶系统。
在计算中，识别数据的统计指纹是使用识别数据计算的统计值，所述数据唯一地识别所述识别数据以用于实际比较目的。在本发明一些实施例中另外提出利用在使用从模拟驾驶中收集的模拟驾驶数据所计算的模拟统计指纹以及使用实际交通数据所计算的实际统计指纹之间的差异来对模拟驾驶环境的真实性进行分类。对世界的理解可以基于收集关于世界的统计数据。在模拟代表移动物体的代理时，一些统计数据的性质是“由Y类驾驶所驾驶的X类车辆在驾驶环境W中行驶Z的可能性有多大”，例如“青少年驾驶的X类型车辆在夜间以角度α切入车道的可能性有多大”。因此，根据本发明的一些实施例，分析实际交通数据以识别多个环境类别、多个移动代理类别以及多个移动模式类别。每个环境类别描述驾驶环境，并且可选地包括描述驾驶环境的多个环境属性的一个或多个环境值。所述环境属性的一些示例是一天中的时间值、一周中的时间以及一年中的月数。一些环境属性与天气条件有关，例如温度、雾量、空气清晰度量，例如雾量或烟雾量、降水量、风速以及风向。一些环境属性与环境条件有关，例如日光量、云量、云类型、人造光和每确定时间量的车辆数量。一些环境属性与地理有关，例如坡度、曲线方向、曲线半径、道路水平角、水情以及地理环境类型，例如建筑工地、森林、市区、郊区、军区、空地。多个移动代理类别中的每一个都描述了一个模拟移动物体的移动代理，并且可选地包括一个或多个代理概率，每个代理概率表示与相应移动代理类别相关联的移动代理在识别的驾驶环境中展示识别的代理行为的一可能性。标识的代理行为可选地由多个代理属性的标识的多个代理值来描述。驾驶环境可选地由多个环境类别中的识别的环境类别来描述。可选地，多个移动代理类别中的每一个包括多个代理属性中的每一个的一个或多个代理值。代理属性的一些示例为高度、宽度和重量。可选地，多个代理属性中的一些是代理移动特性，例如以上所描述的。多个移动模式类别中的每一个都描述了一个行动者。所述行动者的一些例子是行人、自行车司机和车辆司机。可选地，多个移动模式类别中的每一个包括多个行动者概率，每个概率指示与相应移动模式类别相关联的行动者在另一个识别的驾驶环境中展示识别的行动者的行为的可能性。识别的行动者的行为可选地由多个代理属性的识别的移动模式多个代理值来描述。可选地，另一个识别的驾驶环境由多个环境类别中的另一个识别的环境类别描述。
可选地，多个环境类别、多个移动代理类别和多个移动类别用于产生模拟驾驶环境。可选地，根据多个环境类别中的一个产生驾驶环境。可选地，根据一个或多个模拟代理产生模拟驾驶环境，每个模拟代理与多个移动代理类别中的一个以及多个移动模式类别中的一个相关联。可选地，根据一个或多个模拟代理中的每一个的相应多个代理概率和相应多个行动者概率来产生模拟驾驶环境。
在一些实施例中，本发明提出使用模拟统计指纹和实际统计指纹之间的差异来训练模拟产生模型。可选地，使用多个环境值和多个代理值计算实际统计指纹。可选地，模拟驾驶数据包括描述模拟驾驶环境的多个环境属性中的一个或多个模拟环境值。可选地，对于多个产生代理中的每一个，模拟驾驶数据包括多个代理属性的多个模拟代理值。可选地，使用多个模拟环境值和多个模拟代理值计算模拟统计指纹。可选地，在多次训练迭代中的至少一次中，修改模拟产生模型的至少一个模型参数，以最小化模拟统计指纹和实际统计指纹之间的差异。利用模拟统计指纹与实际统计指纹的差异来训练模拟产生模型，提高了模拟产生模型输出的准确度，从而提高了使用模拟产生模型的输出训练的系统的准确度，例如自动驾驶系统。根据多个环境值和多个代理值计算统计指纹，提高了统计指纹作为环境特征的一概括的准确性，从而增加使用一个或多个统计指纹训练的模拟产生模型的输出的准确度，每个指纹根据多个环境值和多个代理值进行计算。
此外，本发明提出训练多个模拟产生模型，每个模型根据多个环境类别中的一个进行训练，并使用由多个模拟产生模型产生的输出，来训练自动驾驶系统。使用一个以上的模拟驾驶环境训练自动驾驶系统，每个模拟产生模型都由一个以上的模拟产生模型而产生，提高了自动驾驶系统输出的准确性，允许自动驾驶系统在多个环境中正确驾驶。
根据一个或多个模拟代理产生所述模拟驾驶环境，本发明进一步提出，在本发明一些实施例中，为多个移动代理类别中的每一个和多个移动模式类中的每一个来计算概率分数，每个表示模拟驾驶环境的概率，以环境类别为特征，包括与相应移动代理类别相关联，并且附加或替代地与相应移动模式类相关联的移动代理。例如，在上课时间(例如上午的某些时间)，与下午和傍晚相比，青少年特有的移动模式的可能性较小。在另一个示例中，在高峰时段，与在半夜相比，汽车存在于驾驶环境中的可能性更高。在本发明的一些实施例中，当模拟一定数量的代理时，将代理分配给移动代理类别是根据移动代理类别根据环境类别出现在模拟驾驶环境中的概率。可选地，根据环境类别及根据移动模式类别在模拟驾驶环境中出现的概率，将代理分配给移动模式类别。
训练自动驾驶者可能需要特别注意边缘情况—鲁莽的司机切入车道，不注意的行人自人行道上走下，并在马路中间而不是在人行穿越道上过马路，特别是缓慢的司机阻碍交通等。为了训练自动驾驶员，可能需要将代理分配到不太可能的移动代理类别或移动模式类别，以便将自动驾驶员暴露在这种相对罕见的条件下。因此，根据本发明的一些实施例，以比移动模式类别的概率更高的概率为代理分配移动模式类别。可选地，以比移动代理类别的概率更高的概率为代理分配移动代理类别。例如，当下雨条件下非常慢的行人(例如年长的行人)的概率较低时，例如1％，产生与非常慢的行人相关联的代理的概率可能会增加到更高的值，例如25％，以确保自动驾驶者比实际情况更频繁地遇到此类行为，从而提高自动驾驶者在罕见驾驶条件下输出的准确性。
如上所述，可以使用图像细化模型(细化器)来细化由模拟产生模型所产生的合成图像，例如模拟驾驶环境，以增加合成图像的真实感。
一些用于训练图像细化模型的方法包括使用各种度量来评估细化器的输出，并尝试改进细化器评估度量的值。一个训练细化器的输出可能与另一位训练细化器的输出具有明显不同的质量。可能是训练一个已识别细化器没有收敛到所需的平衡。投资改进这种细化器可能会消耗加工资源和时间，而不会产生任何收益。目前不可能先验地识别出这样细化器。
代替改进一个图像细化模型，在本发明一些实施例中另外提出训练多个图像细化模型，为每个模型计算一模型分数，所述分数指示相应模型的输出图像有多好，并使用具有首选模型分数的图像细化模型来产生用于训练自动驾驶的实际模拟数据。
需要训练图像细化模型以产生在内容上与输入合成图像相似且在外观或行为上与目标实际环境相似的输出图像。现有的用于训练图像细化模型的方法无法同时实现内容的最佳相似性和与目标实际环境的最佳相似性。在本发明一些实施例中，进一步提出使用反映输出图像的一个或多个质量的模型分数来评估图像细化模型的输出：图像的真实程度以及它们对输入合成图像的内容的保存程度。此外，根据一个或多个图像质量指标(模糊、噪声、失真、伪影等)，分数可选地反映图像的好坏程度。此外，模型分数可选地反映图像细化模型的面向任务分数，表示图像细化模型所产生的图像可以作为实际图像通过训练分类器模型对数字图像进行分类的程度。可选地，计算面向任务分数包括使用由图像细化模型产生的一组细化输出图像来训练分类器，并且可选择根据分类器将一组实际目标图像分类为真实的成功率来计算分数(越高越好)。通过使用由图像细化模型产生的一组细化输出图像训练的分类器，成功地对一组实际目标图像进行分类来表示图像细化模型的输出的准确性。可选地，计算面向任务分数包括使用一组实际目标图像训练另一个分类器，并且可选地根据另一个分类器在将一组细化输出图像分类为真实的成功率(越高越好)来计算另一个分数。通过使用一组实际目标图像训练的分类器成功地对由图像细化模型产生的一组细化输出图像进行分类来表示图像细化模型的输出的准确性。使用面向任务分数计算模型分数会提高模型分数的准确性，从而提高使用根据优选模型分数选择的图像细化模型产生的实际模拟数据的准确性。
由于在输出图像的一种或多种质量之间存在权衡，因此模型分数可选地使用输出图像的一种或多种质量的组合来计算，反映一种或多种质量之间的已识别权衡，从而提高使用根据优选模型分数选择的图像细化模型产生的实际模拟数据的准确性。
在详细解释本发明的至少一个实施例之前，应当理解的是，在本发明的应用方面不一定限于在以下描述中阐述和/或在附图和/或实施例中说明的构件和/或方法的构造和布置的细节。本发明能够有其他实施例或能够以各种方式实践或实施。
本发明可以是系统、方法和/或计算机程序产品。所述计算机程序产品可以包括其上具有用于使处理器执行本发明的多个方面的计算机可读程序指令的计算机可读存储介质(或媒介)。
计算机可读存储介质可以是能够保留和存储指令以供指令执行设备使用的有形设备。所述计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。
在此描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备或经由网络下载到外部计算机或外部存储设备，例如互联网、局域网、广域网和/或无线网络。
计算机可读程序指令可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本发明的多个方面。
在此参考根据本发明实施例的方法、装置(系统)以及计算机程序产品的流程图和/或框图来描述本发明的多个方面。应当理解的是，流程图和/或框图的每个框(block)，以及流程图和/或框图中的框的组合，可以由计算机可读程序指令来实现。
图中的流程图和框图表示根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每一框可表示模块、段或指令的一部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按照图中标注的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者有时可以以相反的顺序执行这些框。还要注意的是，框图和/或流程图说明的每个框，以及框图和/或流程图说明中的框的组合，可以通过基于专用硬件的系统来实现，这些系统执行指定的功能或动作或执行专用硬件和计算机指令的组合。
为简洁起见，术语处理单元是指执行代码的系统的一个或多个处理器。系统处理器的一些示例是虚拟机、服务器、台式计算机和硬件控制器。此后，术语硬件处理器可与术语处理单元互换使用，意指执行代码的系统的一个或多个处理器。
此外，为简洁起见，术语“网络接口”用于表示至少一个数字通信网络接口。
此后，术语，模拟产生模型用于表示用于产生模拟数据的模型，并且这些术语可以互换使用。
现在参考图1，显示了根据本发明的一些实施例用于产生模拟数据而用于训练一模型的示例性系统100的示意框图。在这样的实施例中，所述处理单元101连接到至少一个非易失性数字存储器111。所述非易失性数字存储的一些示例是硬盘驱动器、固态存储器组件和网络连接的存储。可选地，所述处理单元101将经过训练的模拟产生模型输出到至少一个非易失性数字存储器111。可选地，所述处理单元101从至少一个非易失性数字存储器111检索从驾驶环境收集的实际输入数据。可选地，所述处理单元101连接到网络接口110。可选地，所述处理单元101通过网络接口110从数据库或网络连接的源接收实际输入数据。可选地，所述处理单元101经由网络接口110输出经过训练模拟产生模型，例如通过将经过训练模拟产生模型发送到另一个处理单元。可选地，所述网络接口110连接到局域网，例如以太网或无线网络。可选地，所述网络接口110连接到广域网，例如互联网。
为了训练用于产生模拟数据的模型，所述系统100在本发明的一些实施例中实施以下可选的方法。
现在还参考图2，显示了示意性表示根据本发明的一些实施例的用于产生模拟数据而用于训练一模型的操作200的可选流程的流程图。在这样的实施例中，在201中，所述处理单元101存取从驾驶环境收集的实际输入数据。可选地，所述处理单元101从至少一个非易失性数字存储器111中检索实际输入数据。可选地，所述处理单元101通过所述网络接口110接收实际输入数据。可选地，实际输入数据包括由一个或多个传感器收集的实际数据。传感器的一些示例是相机、电磁辐射传感器、雷达、光探测和测距传感器(LIDAR)、麦克风、温度计、加速度计和摄像机。可选地，实际数据由安装在一辆或多辆车辆上的一个或多个传感器收集，可选地，当车辆穿越一个或多个驾驶环境时。可选地，实际输入数据包括描述一个或多个驾驶环境的环境数据。可选地，所述环境数据包括描述驾驶环境的多个环境属性的多个环境值。所述环境值的一些示例是一天中的时间值、一周中的时间值和一年中的月数。所述环境值的其他一些示例是温度值、雾量、空气清晰度度量值、例如，雾量或烟雾量、降水值，例如降水量或降水率值、降水类型值、风速值、风向值、光量值、人造光指示值、人造光的特性，如颜色值或强度值、人群密度量值、倾斜度值、弯道方向值、弯道半径值和道路角度值。可选地，实际输入数据包括一个或多个标签，当从驾驶环境撷取至少一些数据时指示一种或多种环境条件，例如驾驶环境的地理位置或驾驶环境的一天中的时间。可选地，实际输入数据包括代理数据，描述在一个或多个驾驶环境中的至少一个中操作的一个或多个代理。可选地，对于一个或多个代理中的每一个，代理数据描述车辆或行人的一个或多个结构特征，以及附加或替代地行人的车辆的一个或多个行为特征。车辆的一些示例是汽车、卡车和自行车。车辆可以是汽车和卡车以外的机动车辆。交通工具可以是空中交通工具，例如飞机或无人机。交通工具可以是水上船只，例如小船、筏子和诸如水上摩托车的个人船只。行人可以是人类的行人。行人可以是动物，例如狗或马。可选地，对于一个或多个代理中的每一个，代理数据包括描述相应代理的外观和相应代理的驾驶环境中的行为的多个代理属性。代理值的一些示例是高度值和宽度值。代理值的一些其他示例是：纵向速度值，横向速度值，纵向加速度值，横向加速度值，纵向距离值，横向距离值，纵向值，横向值，违反交通规则指示值，对向车道指示值、肩指示值、碰撞指示值、其他代理的通过量、转换时间值、转换延迟时间值、出站转换角度值和入站转换角度值。
在205中，所述处理单元101可选地根据车道对实际输入数据应用变换(transformation)，以产生变换后的输入数据。可选地，所述根据车道的变换提供相对于车道的立体图。可选地，所述根据车道的变换提供车道的俯视图。可选地，变换后的输入数据包括实际输入数据的一个或多个标签。
在210中，所述处理单元101可选地分析转换后的输入数据，以识别多个环境类别261、多个移动代理类262及多个移动模式类263，每个环境类别261描述驾驶环境，每个移动代理类262描述模拟移动物体的移动代理，每个移动模式类263描述一行动者。可选地，多个环境类别261中的每一个包括多个环境值中的至少一些，在205中可选地通过所述变换(transformation)来进行变换。可选地，多个环境类别中的环境类别描述所识别地理位置的环境噪声，例如旧金山、丹佛或新德里。环境噪声的一些示例是空气净度度量值、植被数量、植被类型、建筑物数量、建筑物密度、建筑物类型以及光特征值。移动代理的一些示例是汽车、卡车、机动车辆、火车、船、空中车辆、水上船舶、机动滑板车、滑板车、自行车和行人。行动者的示例有行人、骑自行车的人以及开车的人。可选地，多个移动代理类别中的每一个包括多个代理概率。或者，当驾驶环境由多个环境的第一环境类描述时，每个代理概率表示与相应的移动代理类别相关联的移动代理的可能性，以展示由多个代理值所识别的多个代理值描述的代理行为类别。例如，当所述第一环境类描述有雾的驾驶环境时，一代理类别可能有比所述第一环境类描述没有雾的驾驶环境时速度值低超过每小时100英里的可能性。可选地，多个移动模式类别中的每一个包括多个行动者概率。可选地，当驾驶环境由多个环境类别中的第二环境类别描述时，每个行动者概率表示与相应移动模式类别相关联的行动者展示由识别的多个代理值的代理值的移动模式所描述的行动者的行为的可能性。例如，一个移动模式类别可能在从路边走到较低的道路之前没有停下来。当与第二类代理关联的行为的身高值超过165厘米(可能是成年人)时，而不是行动者的身高值小于130厘米(可能是儿童)。可选地，多个环境类别261中的一个或多个以及附加或替代地多个移动代理类别262中的一个或多个，以及进一步附加和替代地根据由一个以上传感器收集的至少一些实际输入数据，可选地使用一种或多种传感器融合方法来识别多个移动模式类别263中的一个或多个。
可选地，在210中，所述处理单元101使用至少一种机器学习模型分析转换后的输入数据，并且可选地使用至少一个机器学习模型识别多个环境类别261、多个移动代理类别262和多个移动模式类263中的至少一些。可选地，在210中，所述处理单元101对转换后的输入数据应用至少一种统计分析方法，以使用至少一个机器学习模型来识别多个环境类别261、多个移动代理类别262和多个移动模式类别263中的至少一些。
可选地，在210中，所述处理单元101在分析转换后的输入数据时还使用一个或多个标签。例如，当一些实际输入数据被标记为市区时，分析转换后的数据可选地增加对在一些实际输入数据中识别一个或多个道路特征所重视的。在另一示例中，当一些其他实际输入被标记为开放字段时，分析变换后的数据可选地减少对在其他实际输入数据中识别一个或多个其他道路特征所强调的。
可选地，在210中，所述处理单元101分析实际输入数据而不是变换后的输入数据，以识别多个环境类别261、多个移动代理类别262以及多个移动模式类263。
在221中，所述处理单元101可选地使用实际输入数据计算实际统计指纹，使得实际统计指纹表示一个或多个驾驶环境的一个或多个特征，以用于实际比较目的。可选地，使用多个环境值和多个代理值计算实际统计指纹。
在222中，所述处理单元101可选地根据多个环境类261中的一个环境类264产生训练环境。可以根据所识别的环境类别中的一个来创建模型。可选地，所述环境类别264是多个环境类别261中的两个或更多个其他环境类的交集。例如，多个环境类别261可以包括环境类别“白天”、环境类别“旧金山”和环境类别“白天旧金山”。在这个例子中。环境类别264可能是“白天的旧金山”。
在225中，所述处理单元101可选地产生多个产生的训练代理(generatedtraining agents)，每个产生的训练代理都与多个移动代理类别262中的一个以及多个移动模式类别263中的一个相关联。可选的，在227中，所述处理单元101是根据222中产生的训练环境以及225中产生的多个产生的训练代理，使用模拟产生模型来产生模拟驾驶环境。
现在还参考图3，显示了示意性地表示根据本发明的一些实施例的用于产生多个代理的操作300的可选流程的流程图。所述处理单元101可选地根据训练环境的环境值来选择多个产生的训练代理的数量，所述环境值表示在训练环境中所识别的时间量内车辆的数量以及其他或替代的行人的数量。
在301中，所述处理单元101可选地将多个产生的训练代理中的每一个与多个移动代理类别的移动代理类别和多个移动类别的移动模式类别相关联。在320中，所述处理单元101可选地为多个产生的训练代理中的每一个产生模拟行为数据。可选的，模拟行为数据是根据环境类别261对应的各个移动代理类的多个代理概率。可选的，模拟行为数据是根据环境类别261对应的各个移动模式类别的多个行动者概率。
可选地，在310中，所述处理单元101为多个移动代理类别中的每一个和多个移动模式类别中的每一个计算概率分数。可选地，在301中，所述处理单元101根据移动代理类别相应的概率分数，可选地根据初始代理概率及根据相应的概率分数，将多个产生的训练代理中的一个产生的训练代理与多个移动代理类别中的移动代理类别相关联。可选地，在301中，所述处理单元101根据移动模式类别相应的概率分数，可选地根据初始行动者概率且根据相应的概率分数，将多个产生的训练代理中的一个产生的训练代理与多个移动模式类中的一个移动模式类相关联。可选的，在311中，所述处理单元101根据相应的概率分数，从多个移动代理类中识别出一个或多个不太可能的移动代理类别。可选地，在312中，所述处理单元101根据高于初始代理概率的代理概率，将多个产生的训练代理中的一个或多个与一个或多个不太可能的移动代理类别中的一个相关联。可选地，在316中，所述处理单元101根据相应的概率分数，识别出多个移动模式类别中的一个或多个可能性较小的移动模式类别。可选地，在317中，所述处理单元101根据高于初始行动者概率的行动者概率将多个产生的训练代理中的一个或多个与一个或多个不太可能的移动模式类别中的一个相关联。
现在再次参考图2。所述处理单元101可选地从所述模拟驾驶环境中收集229个模拟驾驶数据。在231中，所述处理单元101可选地使用模拟驾驶数据来计算一模拟统计指纹。可选地，所述模拟驾驶数据包括描述所述模拟驾驶环境的模拟环境数据。可选地，所述模拟环境数据包括描述所述模拟驾驶环境的多个环境属性的多个模拟环境值。可选地，所述模拟驾驶数据包括模拟代理数据，描述多个产生的训练代理。可选地，对于一个或多个产生的训练代理中的每一个，产生的训练代理数据包括描述相应的产生的训练代理的一外观和相应的产生的训练代理的模拟驾驶环境中的行为的多个代理属性。可选地，所述处理单元101在231中使用多个模拟环境属性值和多个模拟代理值来计算所述模拟统计指纹。
在235中，所述处理单元101可选地修改一模拟产生模型的一个或多个模型参数，以最小化221中所计算的实际统计指纹与231中所计算的模拟统计指纹之间的一差异。
可选地，所述处理单元101在多个训练迭代中的一个或多个中迭代227、229、231和235。
根据本发明的一些实施例，所述系统100可以针对不止一种环境来训练不止一种模拟模型。
现在也参考图4，显示了示意性地表示根据本发明的一些实施例用于产生模拟数据而用于训练其他模型的其他可选操作流程400的流程图。在这样的实施例中，所述处理单元101在422中根据多个环境类别261中的其他环境类别401产生其他训练环境。可选地，其他环境类别401为多个环境类别261中的其他两个或多个其他环境类别的交集。在425中，所述处理单元101可选地产生多个其他模拟训练代理，每个模拟训练代理与多个移动代理类别中的一个以及多个移动模式类别中的一个相关联，并且在427中，所述处理单元101根据多个其他产生的训练代理以及其他训练环境，由其他模拟产生模型可选地产生其他模拟驾驶环境。所述处理单元101可选地从其他模拟驾驶环境收集429个其他模拟驾驶数据。在431中，所述处理单元101可选地使用其他模拟驾驶数据来计算其他模拟统计指纹。在435中，所述处理单元101可选地修改其他模拟产生模型的一个或多个其他模型参数，以最小化在221中所计算的实际统计指纹与在431中所计算的其他模拟统计指纹之间的其他差异。
可选地，所述处理单元101在多个其他训练迭代中的一个或多个中重复427、429、431和435。
根据本发明的一些实施例，由所述系统100使用方法200训练的模拟产生模型用于产生模拟数据，例如用于训练自动驾驶代理。在这样的实施例中，包括第一硬件处理器的系统实现以下可选方法。
现在也参考图图5，显示了示意性地表示根据本发明的一些实施例用于产生模拟数据的可选操作流程500的流程图。在此类实施例中，在501中，所述第一硬件处理器存取由系统100使用方法200产生的模拟产生模型。可选地，在510中，所述第一硬件处理器接收多个环境类中的新环境类，并且可选地指示第二硬件处理器产生模拟驾驶环境。可选的，所述第一硬件处理器为第二硬件处理器。可选地，在521中，所述第二硬件处理器根据新环境类别产生模拟环境，并且在522中，所述第二硬件处理器可选地产生多个模拟代理，每个模拟代理与多个其他移动代理类部中的一个以及多个其他移动代理类别中的一个相关联。可选地，多个其他移动代理类别是多个移动代理类别。可选地，多个其他移动模式类为多个移动代理类别。在523中，所述第二硬件处理器可选地根据模拟环境和多个模拟代理通过模拟产生模型来产生模拟驾驶环境。
为了增强产生模拟数据的真实性，例如模拟驾驶环境，可选地出于训练自动驾驶代理的目的，在本发明的一些实施例中，训练图像细化模型。
现在还参考图6，显示了根据本发明的一些实施例的用于训练图像细致模型的示例性系统600的示意框图。在这样的实施例中，所述处理器601连接到至少一个非易失性数字存储器611。可选地，所述处理单元601向至少一个非易失性数字存储器611输出经过训练的图像细化模型。可选地，所述处理单元101从至少一个非易失性数字存储器611中检索输入数据。可选地，输入数据包括多个测试图像。可选地，多个测试图像包括一个或多个合成图像。可选地，所述处理单元601连接到网络接口610。可选地，所述处理单元601通过所述网络接口610从数据库或网络连接源接收输入。可选地，所述处理单元601经由网络接口610输出经过训练的图像细化模型，例如通过将经过训练的图像细化模型发送到其他处理单元。可选地，所述网络接口610连接到局域网，例如以太网或无线网络。可选地，所述网络接口610连接到广域网，例如互联网。
为了训练图像细化模型，在本发明的一些实施例中的系统600实现以下可选方法。
现在还参考图7，显示了示意性地表示根据本发明的一些实施例的用于训练图像细化模型的可选操作流程700的流程图。在这样的实施例中，所述处理单元601在701中训练多个图像细化模型中的每一个。可选地，响应于包括合成图像的输入，训练多个图像细化模型中的每一个以产生细化图像。可选地，多个图像细化模型中的一个或多个使用产生对抗网络(Generative Adversarial Network,GAN)。在710中，所述处理单元601可选地通过为多个图像细化模型中的每一个计算模型分数来计算多个模型分数。可选地，多个模型分数中的每个模型分数表示由相应图像细化模型响应于包括合成图像的输入而产生的相应细化图像的真实质量。可选地，每个模型分数附加或替代地表示参考合成图像的相应细化图像的内容保存质量。
现在也参考图8，显示了示意性地表示根据本发明的一些实施例用于计算图像细化模型的模型分数的可选操作流程800的流程图。在这样的实施例中，所述处理单元601在801中产生多个细化输出图像，响应于包括多个测试图像中的一个的输入，每个输出图像由相应的图像细化模型产生。在820中，所述处理单元601可选地使用以下一项或多项计算模型分数：多个图像自距离分数、多个真实分数、多个图像质量分数和面向任务分数。
细化器的图像自距离分数测量由细化器响应于输入图像产生的细化图像保留输入图像内容的程度。在811中，所述处理单元601可选地计算多个图像自距离分数，每个参考多个测试图像中的相应测试图像表示在多个细化输出图像中的一个的内容保存质量。可选地，将多个图像自距离分数中的每一个归一化在从0到1的范围内。
细化器的真实分数衡量由细化器响应输入图像产生的细化图像出现的真实程度。在812中，所述处理单元可选地计算多个真实分数，每个分数表示多个细化输出图像中的一个的真实质量。可选地，多个真实分数中的每一个都在从0到1的范围内标准化。可选地，计算多个真实分数包括计算多个特征分数，每个特征分数表示多个细化特征与从目标实际图像中提取的多个特征之间的距离，其中，多个细化特征位于响应于多个测试图像中的一个测试图像而产生的多个细化输出图像中的一个，并且目标实际图像等同于测试图像。可选地，多个特征分数中的一个或多个是弗雷谢起始距离(FID)。损坏的图像是引入了噪声的图像—随机噪声会破坏图像的某些像素。一些损坏模式包括模糊和创建人工制品。可选地，计算多个真实分数包括计算多个重建分数。可选地，每个重建分数表示多个细化输出图像中的细化图像与重建图像之间的差异。可选地，重建图像是通过被训练以重建实际图像的重建模型从损坏的细化图像重建的。
可选地，为了计算重建分数，所述处理单元601存取图像重建模型。可选地，使用实际图像(照片)训练图像重建，以学习实际环境的特征分布。特征的分布反映在重建模型的权重值中。可选地，图像重建模型使用一组损坏的实际图像(通过损坏一组实际图像中的每一个产生)额外或替代地进行训练，并且在多次重建训练迭代中，图像重建模型被训练以重建每个实际图像。原始实际图像和相应重建图像之间的距离函数，可选地用于测量重建的成功率。可选地，所述图像重建模型为去噪自编码器模型。
可选地，对于多个测试图像中的每一个，所述处理单元601破坏相应的细化输出图像，并且响应于包括相应损坏的细化图像的输入，使用图像重建模型输出相应的重建图像。所述处理单元601可选地计算重建分数，所述重建分数表示与细化图像相比重建图像中的误差量。少量错误表示细化输出图像模拟细化器从实际数据中学到的分布，从而表示相应细化输出图像的更大程度的真实感。
图像的图像质量分数评估图像的一个或多个质量度量，包括但不限于噪声、模糊度、失真伪影。可选地，所述处理单元601在813中计算多个图像质量分数，每个图像质量分数表示多个细化输出图像之一的图像质量。可选地，将多个图像质量分数中的每一个归一化在从0到1的范围内。
细化器的面向任务分数表示细化器相对于识别的任务的输出质量，例如训练分类器。在814中，所述处理单元601可选地计算面向任务分数。可选地，计算所述面向任务分数包括计算第一分类器模型的训练分数，使用多个细化输出图像进行训练，其中，所述面向任务分数表示第一分类器对多个实际图像进行分类的成功率。可选地，计算面向任务分数包括计算使用多个实际图像训练的第二分类器模型的测试分数，表示第二分类器模型对多个细化输出图像进行分类的成功率。可选地，所述处理单元601使用训练分数和测试分数计算面向任务分数。第一分类器以及附加或替代地第二分类器可以是被训练，以提供输入图像的每个像素的语义分类的语义分割分类器。可选地，训练分数是表示由第一分类器模型正确分类的多个细化输出图像中的每一个的像素的第一百分比的第一F1分数。可选地，测试分数是表示第二分类器模型正确分类的多个实际图像中的每一个的像素的第二百分比的第二F1分数。
在820中，所述处理单元601可选地使用多个图像自距离分数、多个特征分数、多个图像质量分数和面向任务分数中的一个或多个的组合来计算模型分数。可选地，所述处理单元601计算图像自距离分数、真实分数、图像质量分数和任务导向分数的加权组合。所述加权组合可以反映由细化器响应于多个测试图像而产生的一组产生输出图像的一个或多个质量之间的权衡。计算模型分数可选地包括计算多个图像自距离分数、多个真实分数和多个图像质量分数中的一个或多个的总和、平均值和标准偏差中的一个或多个。
现在再次参考图8。在720中，所述处理单元601可选地选择多个图像细化模型中具有多个模型分数中的优选模型分数的图像细化模型。可选地，所述处理单元601可选地经由网络接口610并且可选地或附加地可选地通过将图像细化模型存储到至少一个非易失性数字存储器611来输出所选择的图像细化模型。
可选地，所述处理单元601为了执行图像细化任务的目的，例如为了产生模拟驾驶环境的目的，将所选择的图像细化模型提供给至少一个其他处理单元。
现在参照图9，显示了示意性地表示根据本发明的一些实施例用于产生模拟数据的另一可选操作流程900的流程图。在这样的实施例中，在901中，模拟产生处理单元存取由系统600使用方法700训练的图像细化模型。可选地，在910中，模拟产生处理单元响应于经由输入接口从环境产生引擎接收的至少一个输入合成图像，表示另一个模拟产生处理单元通过图像细化模型产生至少一个细化输出图像。可选的，其他模拟产生处理单元为其他模拟产生处理单元。可选地，模拟产生处理单元通过连接到模拟产生处理单元的网络接口从环境产生引擎接收一个或多个合成输入图像。可选的，模拟产生处理单元执行环境产生引擎。
本发明的各种实施例的描述是出于说明的目的而呈现的，但并非重点在穷举或限于所公开的实施例。在不脱离所描述实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。选择此处使用的术语以最好地解释实施例的原理，对市场上发现的技术的实际应用或技术改进，或者使本领域的其他普通技术人员能够理解这里公开的实施例。
预计在本申请到期的专利有效期内，将开发许多相关的自动驾驶汽车，“自动驾驶汽车(autonomous driver)”一词的范围重点在于包括所有此类新技术。此外，预计在从所述申请成熟的专利的生命周期内，将开发许多相关的图像自我距离分数、真实分数和面向任务分数，并且术语图像自我距离分数的范围，真实分数和面向任务分数重点在于先验地包括所有这些新技术。
如本文所用，术语“约”是指10％。
术语“包含(comprises)”、“包含(comprising)”、“包括(includes)”、“包括(including)”、“具有(having)”及其共轭意思是“包括但不限于(including but notlimited to)”。所述术语包括“由……组成”和“基本上由……组成”。
词语“基本上由……组成”是指组合物或方法可以包括附加成分和/或步骤，但前提是附加成分和/或步骤不会实质上改变要求保护的组合物或方法的基本和新颖特征。
如本文所用，单数形式“a”、“an”和“the”包括复数参考，除非上下文另有明确规定。例如，术语“一种化合物”或“至少一种化合物”可以包括多种化合物，包括它们的混合物。
“示例性”一词在本文中用于表示“作为示例、实例或说明”。描述为“示例性”的任何实施例不一定被解释为优于或优于其他实施例和/或排除其他实施例的特征的结合。
词语“可选地”在本文中用于表示“在一些实施例中提供而在其他实施例中不提供”。本发明的任何特定实施例可以包括多个“可选”特征，除非这些特征冲突。
在本申请中，可以以范围格式呈现本发明的各种实施例。应当理解的是，范围格式的描述仅仅是为了方便和简洁，不应理解为对本发明范围的不灵活限制。因此，应该认为对范围的描述已经具体公开了所有可能的子范围以及该范围内的各个数值。例如，对于如从1到6的范围的描述应被认为具有具体公开的子范围，例如从1到3、从1到4、从1到5、从2到4、从2到6、从3到6等，以及所述范围内的单个数字，例如1、2、3、4、5和6。无论范围的广度如何，这都适用。
无论何时在本文中指示数字范围，都意味着包括在指示范围内的任何引用的数字(分数或整数)。词语“范围/范围介于”第一指示数字和第二指示数字和“范围/范围从”第一指示数字“到”第二指示数字在本文中可互换使用并且意指为包括第一个和第二个指示的数字以及它们之间的所有小数和整数。
应当理解的是，为了清楚起见，在单独实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反地，为了简洁起见，在单一个实施例的上下文中描述的本发明的各种特征也可以单独地或以任何合适的子组合或在本发明的任何其他描述的实施例中合适地提供。在各种实施例的上下文中描述的某些特征不被认为是那些实施例的基本特征，除非实施例在没有这些元件的情况下是不可操作的。
本说明书中提及的所有出版物、专利和专利申请均通过引用整体并入本说明书中，其程度就如同每个单独的出版物、专利或专利申请被具体地和单独地指示通过引用并入本文中一样。此外，本申请中对任何参考文献的引用或标识不应被解释为承认此类参考文献可作为本发明的现有技术。就使用章节标题而言，它们不应被解释为必然限制。
此外，本申请的任何优先权文件的全部内容通过引用并入本文。

Claims (37)

1.一种训练模型的方法，所述模型用于产生用于训练自动驾驶代理的模拟数据，其特征在于：所述方法包括：
分析从一驾驶环境收集的实际输入数据，以识别多个环境类别、多个移动代理类别以及多个移动模式类别；
根据所述多个环境类别中的一环境类别来产生一训练环境；以及
在多个训练迭代中的至少一个中：
根据所述训练环境且根据多个产生的训练代理而通过一模拟产生模型来产生一模拟驾驶环境，每一个产生的训练代理与多个移动代理类别中的一个以及多个移动模式类别中的一个相关联；
从所述模拟驾驶环境中收集模拟驾驶数据；以及
修改所述模拟产生模型的至少一模型参数，以最小化使用所述模拟驾驶数据所计算出的一模拟统计指纹以及使用所述实际输入数据所计算出的一实际统计指纹之间的一差异。
2.如权利要求1所述的方法，其特征在于：所述实际输入数据包括环境数据以及代理数据；
所述环境数据包含描述所述驾驶环境的多个环境属性的多个环境值；以及
所述代理数据包含对于操作在所述驾驶环境中的多个代理中的每一个代理的多个代理属性的多个代理值，所述多个代理值的每一个代理值描述相应代理的一外观以及相应代理的在所述驾驶环境中的一行为。
3.如权利要求2所述的方法，其特征在于：所述多个环境值中的至少一个选自一组环境值，所述一组环境值包括：一天中的时间值、一周中的天数值、一年中的月数值、温度值、空气清晰度量值、降水值、降水类型值、风速值、风向值、光量值、人造光指示值、人群密度量值、倾斜值、弯道方向值、弯道半径值以及道路水平角度值。
4.如权利要求2所述的方法，其特征在于：多个代理值中的至少一个选自一组代理值，所述一组代理值包括：高度值、宽度值、纵向速度值、横向速度值、纵向加速度值、横向加速度值、纵向距离值、横向距离值、纵向值、横向值、交通违规指示值、对向车道指示值、路肩指示值、碰撞指示值、其他代理通过量、转换时间值、转换延迟时间值、出站转换角度值以及入站转换角度值。
5.如权利要求2所述的方法，其特征在于：所述多个环境类别中的每一个环境类别包括多个环境值中的至少一些。
6.如权利要求2所述的方法，其特征在于：所述多个移动代理类别中的每一个移动代理类别描述一移动代理，所述移动代理选自一组可能的移动代理，所述一组可能的移动代理包括：汽车、卡车、机动交通工具、火车、船、空中交通工具、水上飞机、电动滑板车、滑板车、自行车以及行人；以及
所述多个移动代理类别中的每一个移动代理类别包括多个代理概率，当所述驾驶环境由所述多个环境类别中的一第一环境类别描述时，每一个代理概率表示与相应移动代理类别相关联的一移动代理的一可能性，以展示由所述多个代理值中识别出的多个代理值所描述的一代理行为。
7.如权利要求2所述的方法，其特征在于：所述多个移动模式类别中的每一个移动模式类别描述一行动者，所述行动者选自一组可能的行动者，所述一组可能的行动者包括：行人、自行车骑士、交通工具驾驶员；以及
所述多个移动模式类别中的每一个移动模式类别包括多个行动者概率，当所述驾驶环境由多个环境类别中的一第二环境类别描述时，每一个行动者概率表示与相应移动模式类别相关联的一行动者的一可能性，以展示由所述多个代理值中识别出的多个代理值的移动模式所描述的一行动者行为。
8.如权利要求2所述的方法，其特征在于：分析所述实际输入数据包括对多个代理值应用一变换。
9.如权利要求2所述的方法，其特征在于：所述实际统计指纹是使用所述多个环境值以及所述多个代理值来计算。
10.如权利要求2所述的方法，其特征在于：所述模拟驾驶数据包括模拟环境数据以及模拟代理数据；
所述模拟环境数据包括描述所述模拟驾驶环境的所述多个环境属性的多个模拟环境值；
对于所述多个产生的训练代理中的每一个产生的训练代理，所述模拟代理数据包括所述多个代理属性的多个模拟代理值，所述多个模拟代理值的每一个模拟代理值描述相应产生的训练代理的一外观以及在相应产生的训练代理的所述模拟驾驶环境中的一行为；以及
所述模拟统计指纹是使用多个模拟环境属性值以及所述多个模拟代理值来计算。
11.如权利要求1所述的方法，其特征在于：所述多个环境类别、所述多个移动代理类别以及所述多个移动模式类别中的至少一些，通过使用至少一个机器学习模型来识别以分析实际输入数据。
12.如权利要求1所述的方法，其特征在于：所述多个环境类别、所述多个移动代理类别以及所述多个移动模式类别中的至少一些，通过对实际输入数据应用至少一种统计分析方法来识别。
13.如权利要求1所述的方法，其特征在于：当所述实际输入数据的至少一些是从所述驾驶环境中收集时，所述实际输入数据还包含表示一种或多种环境条件的至少一标签；以及
分析所述实际输入数据包括使用至少一标签中的至少一些。
14.如权利要求1所述的方法，其特征在于：根据所述多个产生的训练代理来产生所述模拟驾驶环境包含：
将所述多个产生的训练代理中的每一个产生的训练代理与所述多个移动代理类别的一移动代理类别以及多个移动模式类别的一移动模式类别相关联；以及
根据以下条件为所述多个产生的训练代理中的每一个产生的训练代理来产生模拟行为数据：1)根据一个环境类别的相应移动代理类别的多个代理概率，以及2)根据一个环境类别的相应移动模式类别的多个行动者概率。
15.如权利要求14所述的方法，其特征在于：所述方法还包括为所述多个移动代理类别中的每个移动代理类别以及所述多个移动模式类别中的每个移动模式类别来计算一概率分数；
所述多个移动代理类别中的一移动代理类别是根据相应概率分数而与一产生的训练代理相关联；以及
所述多个移动模式类别中的一移动模式类别是根据相应概率分数而与一产生的训练代理相关联。
16.如权利要求15所述的方法，其特征在于：所述方法还包括：
根据相应概率分数在所述多个移动代理类别中识别出至少一不太可能的移动代理类别；以及
根据高于由相应概率分数的一初始代理概率的一代理概率，将所述多个产生的训练代理中的至少一个与至少一个不太可能的移动代理类别中的一个相关联。
17.如权利要求15所述的方法，其特征在于：所述方法还包括：
根据相应概率分数在所述多个移动模式类别中识别出至少一个不太可能的移动模式类别；以及
根据高于由相应概率分数的一初始行动者概率的一行动者概率，将所述多个产生的训练代理中的至少一个与至少一个不太可能的移动模式类别中的一个相关联。
18.如权利要求1所述的方法，其特征在于：所述方法还包括：
根据所述多个环境类别中的其他环境类别来产生其他训练环境；以及
在多个其他训练迭代中的每一个中：
根据所述其他训练环境以及根据多个其他产生的训练代理，通过其他模拟产生模型来产生其他模拟驾驶环境，每个其他产生的训练代理与所述多个移动代理类别中的一个以及所述多个移动模式类别中的一个相关联；
从所述其他模拟驾驶环境中收集其他模拟驾驶数据；以及
修改所述其他模拟产生模型的多个其他模型参数，以最小化使用所述其他模拟驾驶数据所计算出的其他模拟统计指纹以及使用所述实际输入数据所计算的所述实际统计指纹之间的其他差异。
19.一种产生用于训练自动驾驶代理的模拟数据而用于训练一模型的系统，包括至少一硬件处理器，其特征在于：所述至少一硬件处理器适用于：
分析从一驾驶环境中收集的实际输入数据，以识别多个环境类别、多个移动代理类别以及多个移动模式类别；
根据多个环境类别中的一个环境类别来产生一训练环境；
在多个训练迭代中的至少一种：
根据多个产生的训练代理而通过一模拟产生模型来产生一模拟驾驶环境，每一个产生的训练代理与多个移动代理类别中的一个以及多个移动模式类别中的一个相关联；
从所述模拟驾驶环境中收集模拟驾驶数据；以及
修改所述模拟产生模型的多个模型参数，以最小化使用所述模拟驾驶数据所计算出的一模拟统计指纹以及使用所述实际输入数据所计算出的一实际统计指纹之间的一差异。
20.如权利要求19所述的系统，其特征在于：所述实际输入数据包括由选自一组传感器的至少一传感器所收集的实际数据，所述组传感器包括：相机、电磁辐射传感器、雷达、光探测和测距传感器(LIDAR)、麦克风、温度计、加速度计以及摄像机。
21.如权利要求19所述的系统，其特征在于：所述至少一硬件处理器还适于输出所述模拟产生模型至一非易失性数字存储器，所述非易失性数字存储器连接所述至少一硬件处理器。
22.如权利要求19所述的系统，其特征在于：所述至少一硬件处理器还适于通过至少一数字通信网络接口接收所述实际输入数据，所述数字通信网络接口连接所述至少一硬件处理器。
23.如权利要求22所述的系统，其特征在于：所述至少一硬件处理器还适于通过所述至少一数字通信网络接口输出所述模拟产生模型。
24.一种创建用于训练自动驾驶代理的数据的方法，其特征在于：所述方法包括：
存取由以下训练的一模拟产生模型：
分析从一驾驶环境收集的实际输入数据，以识别多个环境类别、多个移动代理类别及多个移动模式类别；
根据多个环境类别中的一环境类别来产生一训练环境；
在多个训练迭代中的每一种：
根据所述训练环境且根据多个产生的训练代理而通过所述模拟产生模型来产生一模拟驾驶环境，每一个产生的训练代理与多个移动代理类别中的一个以及多个移动模式类别中的一个相关联；
从所述模拟驾驶环境中收集模拟驾驶数据；以及
修改所述模拟产生模型的多个模型参数，以最小化使用所述模拟驾驶数据所计算出的一模拟统计指纹以及使用所述实际输入数据所计算出的一实际统计指纹之间的一差异；
接收多个环境类别中的一新环境类别；以及
指示至少一其他硬件处理器用以：
根据所述新环境类别而产生一模拟环境；
产生多个模拟代理，每个模拟代理与多个其他移动代理类别中的一个以及多个其他移动模式类别中的一个相关联；以及
根据所述模拟环境以及所述多个模拟代理而通过所述模拟产生模组来产生一模拟驾驶环境。
25.一种产生用于训练自动驾驶代理的模拟数据而用于训练一图像细化模型的方法，其特征在于：所述方法包括：
对于多个图像细化模型中的每一个，训练所述图像细化模型以产生一细化图像，所述细化图像响应于包括一合成图像的输入；
通过为所述多个图像细化模型中的每一个计算表示相应细化图像的真实质量的一模型分数来计算多个模型分数，所述相应细化图像通过响应于包括所述合成图像的输入的所述相应图像细化模型产生，而且参考所述合成图像来表示相应细化图像的内容保存质量；以及
选择多个图像细化模型的一图像细化模型，所述图像细化模型具有多个模型分数中的一优选模型分数。
26.如权利要求25所述的方法，其特征在于：所述模型分数通过以下方式来计算：
生产多个细化输出图像，每个细化输出图像通过响应于包括多个测试图像中的一个的输入的所述相应图像细化模型产生；
计算多个图像自距离分数，每个图像自距离分数表示参考相应测试图像的多个细化输出图像中的一个的内容保存质量；
计算多个真实分数，每个真实分数表示多个细化输出图像中的一个的真实质量；
计算多个图像质量分数，每个图像质量分数表示所述多个细化输出图像中的一个的图像质量；
通过以下方式计算一面向任务分数：
计算一第一分类器模型的一训练分数，所述训练分数使用多个细化输出图像来训练，而且表示所述第一分类器模型对多个实际图像进行分类的一成功率；及
计算一第二分类器模型的一测试分数，所述测试分数使用多个实际图像来训练，而且表示所述第二分类器模型对所述多个细化输出图像进行分类的一成功率；以及
使用所述多个图像自距离分数、多个特征分数、多个图像质量分数以及所述面向任务分数来计算所述模型分数。
27.如权利要求26所述的方法，其特征在于：计算所述模型分数包括计算从一组条件项中选择的至少一条件项，所述一组条件项包括：多个图像自距离分数的平均值、多个图像自距离分数的标准差、多个图像自距离分数的总和、多个真实分数的平均值、多个真实分数的标准差、多个真实分数的总和、多个图像质量分数的平均值、多个图像质量分数的标准差以及多个图像质量分数的总和。
28.如权利要求26所述的方法，其特征在于：计算多个真实分数包括计算多个特征分数，每个特征分数表示以下之间的一距离：1)多个细化输出图像中的一个的多个细化特征，以及2)从与相应测试图像相等的一目标实际图像中提取的多个特征。
29.如权利要求28所述的方法，其特征在于：所述多个特征分数中的至少一个是弗雷谢起始距离(FID)。
30.如权利要求26所述的方法，其特征在于：计算多个真实分数包括计算多个重建分数，每个重建分数表示多个细化输出图像的一细化图像与一重建图像之间的一差异，所述重建图像由通过一重建模型被训练的一损坏细化图像进行重建，以重建实际图像。
31.如权利要求26所述的方法，其特征在于：所述多个图像质量分数中的每一个都在0到1的范围内归一化。
32.如权利要求26所述的方法，其特征在于：所述多个真实分数中的每一个都在0到1的范围内标准化。
33.如权利要求26所述的方法，其特征在于：所述多个图像自距离分数中的每一个都在0到1的范围内归一化。
34.如权利要求26所述的方法，其特征在于：所述第一分类器为一第一语义分割分类器；以及
所述训练分数是一第一F1分数，所述第一F1分数表示由所述第一分类器来正确分类的所述多个细化输出图像中的每一个的多个像素的一第一百分比。
35.如权利要求26所述的方法，其特征在于：所述第二分类器为一第二语义分割分类器；以及
所述测试分数是一第二F1分数，所述第二F1分数表示由所述第二分类器来正确分类的所述多个实际图像中的每一个的多个像素的一第二百分比。
36.一种产生用于训练自动驾驶代理的模拟数据而用于训练一图像细化模型的系统，所述系统包括至少一硬件处理器，其特征在于：所述至少一硬件处理器适于：
对于多个图像细化模型中的每一个，训练所述图像细化模型以产生一细化图像，所述细化图像响应于包括一合成图像的输入；
通过为所述多个图像细化模型中的每一个进行计算表示相应细化图像的真实质量的一模型分数来计算多个模型分数，所述相应细化图像由响应于包括所述合成图像的输入的相应图像细化模型而产生，而且参考合成图像来表示相应细化图像的内容保存质量；以及
选择多个图像细化模型的一图像细化模型，所述图像细化模型具有多个模型分数中的一优选模型分数。
37.一种产生用于训练自动驾驶代理的模拟数据的方法，其特征在于：所述方法包括：
存取由以下训练的一图像细化模型：
对于多个图像细化模型中的每一个，训练所述图像细化模型以产生一细化图像，所述细化图像响应于包括一合成图像的输入；
通过为所述多个图像细化模型中的每一个进行计算表示相应细化图像的真实质量的一模型分数来计算多个模型分数，所述相应细化图像由响应于包括所述合成图像的输入的相应图像细化模型而产生，而且参考合成图像来表示相应细化图像的内容保存质量；以及
选择多个计算产生模型的一计算产生模型，所述计算产生模型具有多个模型分数中的一优选模型分数；以及
指示至少一硬件处理器通过所述图像细化模型产生至少一细化输出图像，所述至少一细化输出图像响应于经由一输入接口从一环境产生引擎接收的至少一输入合成图像。
CN201980081430.1A 2018-10-17 2019-10-15 产生用于训练自动驾驶的实际模拟数据的系统及方法 Pending CN113168176A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862746607P 2018-10-17 2018-10-17
US62/746,607 2018-10-17
PCT/IL2019/051119 WO2020079685A1 (en) 2018-10-17 2019-10-15 System and method for generating realistic simulation data for training an autonomous driver

Publications (1)

Publication Number Publication Date
CN113168176A true CN113168176A (zh) 2021-07-23

Family

ID=70283751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081430.1A Pending CN113168176A (zh) 2018-10-17 2019-10-15 产生用于训练自动驾驶的实际模拟数据的系统及方法

Country Status (4)

Country Link
US (2) US11270165B2 (zh)
EP (1) EP3867722A4 (zh)
CN (1) CN113168176A (zh)
WO (1) WO2020079685A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359144A (zh) * 2021-12-01 2022-04-15 阿里巴巴（中国）有限公司 图像检测方法和图像检测模型的获得方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10768629B2 (en) * 2018-07-24 2020-09-08 Pony Ai Inc. Generative adversarial network enriched driving simulation
US11270165B2 (en) 2018-10-17 2022-03-08 Cognata Ltd. System and method for generating realistic simulation data for training an autonomous driver
DE102020117963A1 (de) * 2020-07-08 2022-01-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtungen und Computerprogramme zum Trainieren eines Maschinenlern-Modells und zum Generieren von Trainingsdaten
US11938957B2 (en) * 2020-08-24 2024-03-26 Motional Ad Llc Driving scenario sampling for training/tuning machine learning models for vehicles
US20220108163A1 (en) * 2020-10-02 2022-04-07 Element Ai Inc. Continuous training methods for systems identifying anomalies in an image of an object
CA3139477A1 (en) * 2020-11-17 2022-05-17 Uatc, Llc Systems and methods for simulating traffic scenes
DE102020215535A1 (de) * 2020-12-09 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Vergleich digitaler Repräsentationen von Fahrsituationen eines Fahrzeugs
US11919530B2 (en) 2020-12-15 2024-03-05 Wipro Limited Method and system for validating an autonomous vehicle stack
CN113205070B (zh) * 2021-05-27 2024-02-20 三一专用汽车有限责任公司 视觉感知算法优化方法及系统
US11755189B2 (en) * 2021-10-25 2023-09-12 Datagen Technologies, Ltd. Systems and methods for synthetic data generation
DE102021214081A1 (de) 2021-12-09 2023-06-15 Psa Automobiles Sa Leistungsmodellierte Radfahrer als Simulationskomponente für Fahrzeuge
DE102022004426A1 (de) * 2022-11-28 2024-05-29 Mercedes-Benz Group AG Verfahren zur Prädiktion von Bewegungen von Verkehrsteilnehmern

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180884A (zh) * 2010-09-01 2013-06-26 奇德林康普顿赛斯公司 驾驶者行为诊断方法和系统
CN105807630A (zh) * 2015-01-21 2016-07-27 福特全球技术公司 虚拟传感器试验台
WO2017079229A1 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
WO2018002910A1 (en) * 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
CN107784709A (zh) * 2017-09-05 2018-03-09 百度在线网络技术（北京）有限公司 处理自动驾驶训练数据的方法和装置
US20180164825A1 (en) * 2016-12-09 2018-06-14 Zendrive, Inc. Method and system for risk modeling in autonomous vehicles
US10031526B1 (en) * 2017-07-03 2018-07-24 Baidu Usa Llc Vision-based driving scenario generator for autonomous driving simulation
US20180247138A1 (en) * 2017-02-28 2018-08-30 Samsung Electronics Co., Ltd. Method and device to generate virtual lane

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203262A2 (en) * 2016-05-25 2017-11-30 Metail Limited Method and system for predicting garment attributes using deep learning
US10235601B1 (en) * 2017-09-07 2019-03-19 7D Labs, Inc. Method for image analysis
US10719742B2 (en) * 2018-02-15 2020-07-21 Adobe Inc. Image composites using a generative adversarial neural network
US11537277B2 (en) * 2018-07-19 2022-12-27 Palo Alto Research Center Incorporated System and method for generating photorealistic synthetic images based on semantic information
US11270165B2 (en) 2018-10-17 2022-03-08 Cognata Ltd. System and method for generating realistic simulation data for training an autonomous driver

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180884A (zh) * 2010-09-01 2013-06-26 奇德林康普顿赛斯公司 驾驶者行为诊断方法和系统
CN105807630A (zh) * 2015-01-21 2016-07-27 福特全球技术公司 虚拟传感器试验台
WO2017079229A1 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
WO2018002910A1 (en) * 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
US20180164825A1 (en) * 2016-12-09 2018-06-14 Zendrive, Inc. Method and system for risk modeling in autonomous vehicles
US20180247138A1 (en) * 2017-02-28 2018-08-30 Samsung Electronics Co., Ltd. Method and device to generate virtual lane
US10031526B1 (en) * 2017-07-03 2018-07-24 Baidu Usa Llc Vision-based driving scenario generator for autonomous driving simulation
CN107784709A (zh) * 2017-09-05 2018-03-09 百度在线网络技术（北京）有限公司 处理自动驾驶训练数据的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DUNDAR, A.: "Domain Stylization: A Strong, Simple Baseline for Synthetic to Real Image Domain Adaptation", 《ARXIV》, 24 June 2018 (2018-06-24) *
马丽娜: "基于元胞自动机的自动驾驶—手动驾驶交通流特性研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, 15 July 2017 (2017-07-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359144A (zh) * 2021-12-01 2022-04-15 阿里巴巴（中国）有限公司 图像检测方法和图像检测模型的获得方法

Also Published As

Publication number Publication date
WO2020079685A1 (en) 2020-04-23
US12061965B2 (en) 2024-08-13
US11270165B2 (en) 2022-03-08
US20210312244A1 (en) 2021-10-07
US20220188579A1 (en) 2022-06-16
EP3867722A1 (en) 2021-08-25
EP3867722A4 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US12061965B2 (en) System and method for generating realistic simulation data for training an autonomous driver
US20240096014A1 (en) Method and system for creating and simulating a realistic 3d virtual world
CN109643125B (zh) 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
US12097873B2 (en) Dynamic sensor data augmentation via deep learning loop
CN102693432B (zh) 使用可靠局部模型更新来调节畅通路径检测
Guo et al. Color modeling by spherical influence field in sensing driving environment
EP3410404B1 (en) Method and system for creating and simulating a realistic 3d virtual world
US11574462B1 (en) Data augmentation for detour path configuring
US11694388B2 (en) System and method for generating large simulation data sets for testing an autonomous driver
CN102682301B (zh) 使用附加分类器来调节畅通路径检测
US20230311932A1 (en) Merging object and background radar data for autonomous driving simulations
Gambi et al. Generating critical driving scenarios from accident sketches
US20240005642A1 (en) Data Augmentation for Vehicle Control
US20220230418A1 (en) Computer-implemented method for training a computer vision model
Cao et al. Data generation using simulation technology to improve perception mechanism of autonomous vehicles
CN115270381A (zh) 仿真场景生成方法、装置、自动驾驶设备及可读存储介质
US20240001849A1 (en) Data Augmentation for Driver Monitoring
Nentwig et al. A method for the reproduction of vehicle test drives for the simulation based evaluation of image processing algorithms
CN114787894A (zh) 感知误差模型
Ng et al. Real-Time Detection of Objects on Roads for Autonomous Vehicles Using Deep Learning
Agarkar et al. Simulation based Closed Loop Scenario Fuzzing for Safety Critical ADAS Applications
US20240311616A1 (en) Machine learning models for processing data from different vehicle platforms
Gupta et al. Coyote: A Dataset of Challenging Scenarios in Visual Perception for Autonomous Vehicles.
Prakash Robust Object Detection under Varying Illuminations and Distortions
Santamaría Puente Development of autonomous driving system for a robotic car using machine learning techniques for appropiate responses in real time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination