CN113039563B - 学习生成用于训练神经网络的合成数据集 - Google Patents

学习生成用于训练神经网络的合成数据集 Download PDF

Info

Publication number
CN113039563B
CN113039563B CN201980074940.6A CN201980074940A CN113039563B CN 113039563 B CN113039563 B CN 113039563B CN 201980074940 A CN201980074940 A CN 201980074940A CN 113039563 B CN113039563 B CN 113039563B
Authority
CN
China
Prior art keywords
machine learning
learning model
real world
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980074940.6A
Other languages
English (en)
Other versions
CN113039563A (zh
Inventor
A·卡尔
A·普拉卡什
刘洺堉
D·J·阿库纳·马雷罗
A·T·巴留索
S·菲德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN113039563A publication Critical patent/CN113039563A/zh
Application granted granted Critical
Publication of CN113039563B publication Critical patent/CN113039563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Abstract

在各种示例中，生成模型用于合成数据集，以用于训练下游机器学习模型来执行相关任务。可以通过从场景语法(诸如概率语法)中采样场景图并将所述场景图应用于所述生成模型来计算更代表真实世界数据集的对象属性分布的更新场景图以生成所述合成数据集。所述下游机器学习模型可以针对真实世界的验证数据集进行验证，并且所述模型在所述真实世界验证数据集上的性能可以用作进一步训练或微调所述生成模型的附加因素，用于生成特定于所述下游机器学习模型所述任务的所述合成数据集。

Description

学习生成用于训练神经网络的合成数据集
背景技术
数据收集和标记是一项费力、昂贵且耗时的任务，需要无数的人力和计算资源。然而，机器学习模型(诸如神经网络)需要大量数据和相应的地面实况信息，以便在部署之前进行有效的训练。结果，模型训练的数据收集和标记部分成为大多数机器学习管线中的重大瓶颈。
为了解决这个问题，合成数据生成已经显现为生成更大数量的地面实况信息的解决方案——例如，使用图形引擎。用于合成数据创建的一些常规方法需要有资格的专家来创建虚拟世界，并从该虚拟世界中采样合成数据。然而，手动创建虚拟世界的过程与手动标记真实世界数据一样是一项艰巨的任务。代替以这种方式创建虚拟世界，一些常规方法使用域随机化(DR)作为照片真实感环境模拟的廉价替代方案。DR技术通过将对象插入随机位置和姿势的环境中，来生成大量多样的场景——然而，这种随机性通常会导致创建与真实世界场景的代理非常不同并且不是最佳的环境。
其他常规方法旨在解决合成环境与真实世界环境之间的领域差距，诸如生成比现有解决方案更接近真实世界外观的合成数据。此类方法使用生成式对抗网络(GAN)以将合成数据的外观变换为更类似于真实世界的数据——但是这些方法仍无法解决与真实世界环境匹配的合成环境的不足。例如，模拟环境中对象的属性(诸如位置、姿势、颜色、纹理、形状、大小等)不能反映真实环境中相似对象的属性。
发明内容
本公开的实施例涉及生成用于训练神经网络的合成数据集。公开了使用生成模型(诸如图形卷积网络(GCN))将从场景语法中采样的初始场景图变换成变换的场景图的系统和方法，所述变换的场景图具有相对于初始场景图的属性更新的属性。
可以训练生成模型，以计算变换的场景图，使得对应属性的分布更接近地反映真实世界环境或场景的分布。此外，使用变换的场景图生成的合成数据集和相应的地面实况，可用于训练下游任务网络，并且可利用在真实世界验证数据集上的下游任务网络的性能，来进一步训练和微调生成模型。结果，所述生成模型不仅可以预测可用于渲染更多合成数据集的变换的场景图，而且还可以对合成数据集进行调整，以更有效地训练下游任务网络用于其相应任务。
因此，生成模型有助于弥合合成数据和真实世界数据之间先前存在的内容差距。结果，作为非限制性示例，其中常规方法可生成合成场景，所述合成场景包括照片般逼真的车辆、行人、建筑物和/或以不真实的方式分布的其他对象(例如，垂直于道路行驶方向的车辆、比实际环境中的人行道宽的人行道、靠得太近的行人等)，本公开的技术允许这些合成场景不仅包括照片般逼真的渲染，而且还包括以更真实、真实世界的类似方式分布的对象。因此，除了弥合先前方法所关注的领域差距之外，当前方法还弥合了内容差距，因此产生了照片般逼真的环境，所述环境可以模拟真实世界的场景，其具有使得下游任务网络能够在这些合成数据集上进行训练的准确性，同时，将其部署为使用真实世界数据在真实世界应用中使用。
附图说明
下面参考附图详细描述用于学习生成用于训练神经网络的合成数据集的本系统和方法，其中：
图1是示出了根据本公开的一些实施例的用于训练分布变换器模型以生成用于训练下游任务网络的合成数据集的过程的数据流程图；
图2A是示出了根据本公开的一些实施例的用于预训练分布变换器模型的过程的示例说明；
图2B是示出了根据本公开的一些实施例的用于使用真实世界数据的分布与合成数据的分布之间的差异来训练分布变换器模型的过程的示例说明；
图2C是示出了根据本公开的一些实施例的用于训练分布变换器模型以计算针对下游任务网络的任务而微调变换的场景图的过程的示例说明；
图3A-3B是示出了根据本公开的一些实施例的使用真实世界分布和合成分布来训练分布变换器模型以计算变换的场景图的示例说明；
图4A-4B是示出了根据本公开的一些实施例的使用真实世界分布和合成分布来训练分布变换器模型以计算变换的场景图的示例说明；
图5A-5B是示出了根据本公开的一些实施例的当使用与基线模型相比由分布变换器模型生成的合成数据集时下游任务网络性能的示例说明；
图6是示出了根据本公开的一些实施例的用于训练分布变换器模型以计算变换的场景图方法的流程图；
图7是示出了根据本公开的一些实施例的用于使用分布变换器模型生成的合成数据集来训练下游任务网络方法的流程图；以及
图8为适合用于实现本公开的一些实施例的示例计算设备的框图。
具体实施方式
公开了与用于训练神经网络的生成合成数据集相关的系统和方法。这些系统和方法可用于多种实施方式，实施方式包括但不限于自动驾驶车辆控制和导航(例如，关于自主或半自主车辆、水上船只或水上飞行器、无人机、飞机、应急车辆、施工设备和/或其他自主或半自主车辆类型)、用于测试的模拟环境的生成(例如，测试机器人、无人机、自主车辆等)、游戏和/或室内导航、光流估计、无人机或四轴飞行器的控制和导航等等。例如，本文描述的系统和方法可用于生成用于训练神经网络的合成数据集，所述神经网络包括在自动驾驶软件栈、机器人软件栈、无人机或四轴飞行器软件栈等中。作为另一个示例，本文描述的系统和方法可用于生成更类似于真实世界环境的模拟环境，以便测试或训练车辆(例如，人为控制的、自主的、半自主的等)、机器人、无人机、人类(例如，用于真实世界场景，诸如战斗、操作机器等)等。在一些非限制性实施例中，本文关于图8的示例计算设备800描述的一些或全部组件、特征和功能可用于执行过程100(图1)和过程200(图2A-2C)的一些或全部。
现在参考图1，图1是示出了根据本公开的一些实施例的用于训练分布变换器模型以生成用于训练下游任务网络的合成数据集的过程100的数据流程图。例如，给定真实图像XR和任务T(例如，对象检测、车道分类等)的数据集，过程100可用于合成训练数据集，DT＝(XT，YT)，包含合成图像XT和相应的地面实况YT。此外，在为特定任务T标记真实世界数据的验证集VT的情况下，过程100可以针对元目标(例如，特定任务T的下游性能)另外优化或调整分布变换器108。结果，过程100可以不仅用于训练分布变换器108以生成与真实世界的场景更相似场景的合成数据集(例如，图像114和对应的地面实况116)，而且过程100还可以用于微调合成数据集的生成，所述合成数据集用于特定下游任务(例如，部署的任务网络120的任务)。
过程100可以包括场景语法(例如概率语法102)，所述场景语法可以定义规则，诸如对应于场景的对象和特征的拓扑、概率参数和/或分布(例如，属性分布)，用于生成定义场景实例的场景图。例如，概率语法102可以定义场景集和场景上的概率分布。可以使用一组构造块和一组规则来定义每个场景，这些规则定义一组对象的共现。然后，可以将对象的构造块和共现组合在一起，以形成可以由规则支配的场景的可能结构和/或构图的更大集合。由场景语法表示的场景可以捕获环境中不同对象和特征的存在，以及不同对象和特征之间的关系。例如，概率语法102可以定义一组可能的场景以及场景上的概率分布，每个场景由使用一组规则连接在一起的一组块定义。
从场景语法(例如，概率语法102)采样(例如，通过场景图采样器104)场景的每个实例可以表示为场景图106。每个场景图106可以以简洁的层次结构表示场景的元素(例如，对象及其特征或组件)，每个元素具有一组属性，例如类别、位置、颜色、姿势、尺寸、纹理、资产标识符等。该层次结构可以定义父子依赖关系，其中子元素的属性可以相对于父元素定义，因此允许以高效和自然的方式来创建和修改场景。通过放置场景图106中所描述的对象或元素，可以轻松渲染相应的合成图像(例如图像114)和像素级别注释(例如地面实况116)。
概率语法102，P可以定义用于在由场景图采样器104采样时，生成场景图106，S的生成过程。对于非限制性示例，为了生成交通场景，可以先定义道路的中心线，然后是平行线，然后是车道内的车辆等。场景的结构可以由概率语法102定义，而与每个对象或特征相对应的属性可以从参数分布中进行采样，这需要仔细调整才能准确。因此，使用从概率语法102采样的场景图106来生成图像114和地面实况116，以用于训练下游任务网络，并不像使用本文所述的变换的场景图110那样生成准确的结果。这可能是由于要求对属性分布进行微调的结果，这是一项困难、耗时且通常不准确的尝试，导致从概率语法102中采样的场景与真实世界的场景和环境不太相似。
为了弥补这个缺点，过程100可以实施分布变换器108，Gθ,，其可以被训练来更新或变换属性SA(对应于场景图106，S)给更新的属性(Gθ,(SA)，对应于变换的场景图110)。在一些实施例中，可以假设场景图106的结构是正确的(例如，驾驶场景具有道路、天空、多个对象等)。这样，变换的场景图110可以包括基本相同的结构(例如，顶点SV和边SE可以保持相同)，但是具有变换的属性或更新的属性，SA→Gθ(SA)。通过维持所述结构但修改属性，变换的场景图110的渲染更接近真实世界的场景。该过程可能等同于学习一个生成模型，所述模型具有可更改对象属性(例如，颜色、姿势、纹理、位置、大小等)的灵活性。本质上，从概率语法102生成的结构得以保持，同时变换属性的分布，从而充当分布变换器108。下面的等式(1)表示当应用分布变换器Gθ,时，场景图106到变换的场景图110的变换：
Gθ[SV,SE,SA]＝[SV,SE,Gθ(SA)] (1)
在一些非限制性实施例中，由于场景图106的图形结构，分布变换器108 Gθ,可以包括卷积神经网络(CNN)——诸如图卷积网络(GCN)。对于非限制性示例，其中分布变换器108是GCN的情况下，GCN可以使用两个不同的权重矩阵来分别捕获自顶向下和自下而上的信息流。在一些实施例中，分布变换器108可以进行每个节点的预测，这意味着分布变换器108可以为SV中的每个节点生成变换的属性Gθ,(SA)。
在一些非限制性实施例中，尽管可以将所有属性SA作为输入提供给分布变换器108，但是可以仅存在要修改的属性的子集。例如，属性的第一子集(例如，可变的或可修改的属性)可以被标识(例如，选择的、学习的等)以用于修改，而属性(例如，不可变的或固定的属性)的第二子集可以被标识(例如，选择的、学习的等)为固定的。在这样的示例中，可以从场景图106信任第二组属性，如从概率语法102采样的那样。作为示例，对于街道场景，当场景用于检测车辆时，可能不需要改变房屋的高度或人行道的宽度。这样，这些属性(例如，高度、宽度)在该任务期间可能是不变的，而与街道或街道上的对象相对应的属性可能是可变的。这样，每个节点属性的第一子集υ∈SV可能是可变的，并且可以用SA,mut(υ)表示。通过减少可变属性SA,mut(υ)的数量、可以减少分布变换器108要求调整的暴露参数(例如权重、偏差等)的数量——从而改善了训练时间和复杂性，以及减少了推理时的运行时间。
尽管本文中相对于使用神经网络，特别是使用GCN作为分布变换器108来描述了示例，但这并不旨在进行限制。本文所述的分布变换器108可以例如但不限于，包括任何类型的机器学习模型，例如使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、k最近邻(Knn)、K均值聚类、随机森林、降维算法、梯度增强算法、神经网络(例如，自动编码器、卷积、循环、感知器、长/短期记忆(LSTM)、Hopfield、玻尔兹曼、深度信念、反卷积、生成式对抗、液态机器等)的一个或更多个机器学习模型和/或其他类型的机器学习模型。
可以使用分布变换器训练器122来训练分布变换器108，这里将参照图2A-2C更详细地描述分布变换器训练器122。分布变换器训练器122的目标可以是鉴于真实世界的数据来更新分布变换器108的参数，以使得与变换的场景图110相对应的属性分布更接近真实世界数据的属性分布。结果，当由渲染器112渲染变换的场景图110时，渲染的或合成的场景更接近地反映真实世界场景。
渲染器112可以渲染包括图像114和地面实况116的合成数据集。然后可以使用合成数据集，经由任务网络训练器118来训练任务网络。例如，假设任务网络的任务是对象检测，则变换的场景图可以表示一个或更多个对象，使得渲染图像114(例如，渲染图像114A)可以描绘对象(例如，渲染图像114A中的车辆)。此外，由于在该示例中任务可以是对象检测，可以根据渲染信息(例如，与地面实况116A中车辆相对应的边界形状)(在实施例中自动)确定地面实况116(例如，地面实况116A)。
用于生成逼真的高分辨率图像的现有解决方案以输入图像为条件，并且变换输入图像的外观(例如，以弥合域差距)。然而，这些方法假设地面实况标签是不变的，因此其内容(例如，结构)的可变性是有限的。因此，如果改变图像的内容(例如，对象的位置、姿势、大小、颜色等)，则常规方法可能无法生成准确的地面实况信息。然而，相反地，使用过程100从变换的场景图110生成合成数据集D(θ)解决了这个问题。例如，由于对象包括相关联的语义信息(例如，系统知道对象是汽车或者行人)，因此合成或修改合成场景仍将渲染出完美的地面实况116。这样，在先前方法使用场景图渲染图像，然后修改图像外观的情况下，过程100经由分布变换器108修改场景图106，以生成变换的场景图110，然后从修改的场景图110渲染图像114(例如，使用图形引擎)。这样，使用表示其图像数据和/或表示变换的场景图110(例如，对象类型、位置、姿势、属性等)的数据，可以从图像114自动生成地面实况116。
任务网络训练器118可以将表示图像114的图像数据应用于任务网络，并且可以将任务网络的预测与地面实况116进行比较。可以使用一个或更多个损失函数来训练任务网络，所述任务网络使用地面实况116，直到任务网络达到特定任务的最佳性能或阈值性能为止。在一些示例中，任务网络可以在使用合成数据集D(θ)进行训练之后，针对真实世界的数据集进行测试，以验证任务网络的性能。此外，在一些非限制性实施例中，可以在模拟或虚拟环境中使用任务网络(在实施例中，也可以使用分布变换器108和变换的场景图110来生成或渲染该环境)，以便在部署任务网络以用于真实世界环境之前测试任务网络的性能。例如，任务网络可以是自动驾驶软件栈的部分(例如，该栈的感知层的部分)，负责对象检测。这样，虚拟或模拟车辆可以在虚拟环境中实现自主驾驶软件栈，其中模拟车辆可以使用虚拟或模拟图像传感器或照相机(或其他传感器类型)捕获虚拟图像数据(或其他传感器数据类型)。然后可以将虚拟图像数据应用于任务网络，以测试虚拟环境中自动驾驶栈内任务网络的功能。所述虚拟环境可以类似于在2019年3月27日提交的美国非临时申请No.16/366,875中描述的虚拟或模拟环境，在此通过引用将其整体并入本文。
一旦使用任务网络训练器118训练、测试和验证了任务网络，则可以将任务网络部署为部署的任务网络120。例如，可以将部署的任务网络实现为真实世界系统，例如自主或半自主车辆、机器人、光流估计器、游戏系统、无人机或四轴飞行器等。结果，所部署的任务网络120可能已使用更接近真实世界场景的合成数据集进行了训练，从而(至少部分地)消除了捕获真实世界数据、手动标记真实世界数据用于地面实况的生成以及在真实世界数据和地面实况上训练网络的负担。本文所述的大多数机器学习管线的数据收集和标记部分的瓶颈可能会被消除或减少，从而在与仅基于真实世界数据训练的常规任务网络相比时，在不牺牲所部署的任务网络120的准确度或性能的情况下，加快任务网络的训练。
现在参考图2A-2C，图2A-2C描述了用于使用分布变换器训练器122训练分布变换器108的过程200。关于图2A-2C，实线箭头可以表示正推法通过过程，而虚线箭头可表示倒推法。例如，关于图2A，如实心箭头所示，变换的场景图110可以由每节点重建损失206使用，并且每节点重建损失206可将信息传回给分布变换器108(例如，经由变换的场景图110)，用于更新分布变换器108的参数，如虚线箭头所示。
参考图2A，图2A是示出了根据本公开的一些实施例的用于预训练分布变换器模型的过程200A的示例说明。概率语法102可表示关于应该如何生成场景或场景图的先验概率分布。这样，为了预训练分布变换器(例如，初始化诸如权重和偏差的参数)，可以使用概率语法102，P。该预训练可以包括初始化分布变换器108，G(θ)，以执行识别功能，使得G(θ)(S)＝S，其中S是场景图106，并且G(θ)(S)是变换的场景图110。每个节点的输入特征可以是其属性集SA，所述属性集SA可以在所有节点上一致地定义。由于SA可以由不同的分类和连续分量组成，因此当使用每节点重建损失206进行训练时，可以使用每特征分量的适当损失。例如但不限于，交叉熵损失可用于分类属性，而L1损失可用于连续属性。最终，使用自动编码器过程200A可以预训练或初始化分布变换器108，以生成与作为输入提供给分布变换器的场景图106在阈值相似度(例如，基本上相同)内的变换的场景图110。使用过程200A，由于分布变换器108的初始参数可以反映作为概率语法102的先验概率分布，因此可以减少分布变换器的总体训练和收敛时间。
现在参考图2B，图2B是示出了根据本公开的一些实施例的用于使用真实世界数据与合成数据的分布之间的差异来训练分布变换器模型的过程200B的示例说明。例如，分布变换器108的第一目标可以是使渲染合成图像XT的分布更接近真实图像XR的分布(例如，使对应于真实场景212的分布216更接近生成的合成场景210的分布214)。过程200B可以包括从概率语法102中采样场景图106，将表示场景图106的数据应用到分布变换器108，通过分布变换器预测变换的场景图110，使用渲染器112并基于变换的场景图110渲染生成的合成场景210，然后对分布214和分布216进行采样以确定差异或不同。结果，如后向传播箭头所示，差异信息随后可用于在多次迭代中更新分布变换器108的参数，直到分布214和分布216在阈值相似度(例如，使得所生成的合成场景210更接近真实场景212)之内。
为了生成分布214和/或分布216，可以将真实场景212和/或生成的合成场景210(例如，表示其的图像)应用于特征提取器。所述特征提取器可以包括计算机视觉算法、训练用于特征提取的深度神经网络或另一种类型的特征提取器算法。例如但不限于，特征提取器可以是使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、k-最近邻(Knn)、k均值聚类、随机森林、降维算法、梯度提升算法、神经网络(例如，自动编码器、卷积、递归、感知器、长/短期记忆(LSTM)、Hopfield、玻尔兹曼、深层信念、反卷积、生成对抗、液态机等)一个或更多个机器学习模型，和/或其他类型的机器学习模型。由特征提取器计算的特征可用于确定分布214和/或216(例如，可以分析该信息以确定在驾驶场景中车辆的位置、姿势、颜色、尺寸等)。在一些实施例中，关于分布214，可以从变换的场景图110确定分布214，而不需要特征提取器(例如，变换的场景图可以包括指示场景210中的对象的属性的语义和/或其他信息)。在其他示例中，可以使用特征提取器、变换的场景图110和/或另一种属性确定方法的组合来确定与所生成的合成场景210和/或真实场景212相对应的分布214。
可以使用多种方法中的任何一种来确定分布214和216之间的差异或不同。例如，在一些非限制性实施例中，可以使用最大平均偏差(MMD)218。MMD 218是可用于训练生成模型(诸如，分布变换器108)的分布之间的相似性的频度度量，以将生成的分布214的统计信息与目标分布216的统计信息相匹配。然而，这并不旨在受到限制，并且可以使用其他方法，诸如(不限于)使用鉴别器进行对抗式学习。在一些实例中，使用MMD 218的逐像素生成模型(诸如分布变换器108)已经无法有效地对高频信号进行建模，从而导致模糊数据的生成。但是，由于过程100和200使用渲染器112，完全避免了此问题，因此允许将MMD 218用于训练稳定性。
在其中使用MMD 218的示例中，如本文所述，可以使用图像分类模型和/或特征提取器模型在特征空间中计算MMD 218，并用φ来表示。在一些非限制性示例中，内核起始距离(KID)可用于测量分布214和216之间的相异点。内核技巧可以用于具有高斯内核k(xi,xj)的计算。
关于图2B，可以通过给定从概率语法102和目标真实图像XR采样的给定场景图106、S1、…、SN来执行分布匹配，根据以下等式(2)计算平方MMD 218距离：
其中，从S渲染的图像是Xθ(S)＝R(Gθ(S))。
为了从Gθ(S)采样，符号R(Gθ(S))可能会过载，因为R实际上可能需要从预测Gθ(S)采样。可以假设跨场景、节点和属性的独立性(由变换的场景图110表示)，以便可以对变换的场景图110中的每个节点的每个属性进行独立采样。在使用MMD 218进行训练时，可以将SA中的分类属性标记或标识为不可变的，并且可以将预测的连续属性直接作为样本传递。
为了优化MMD损失，在一些实施例中，可以通过不可微分的渲染函数R(例如，使用渲染器112)反向传播该梯度。例如，可以使用有限距离的方法来近似R(Gθ(S))相对于Gθ(S)的梯度。尽管此过程可能会产生噪声梯度，但对于实际训练模型而言已经足够了，并且具有照片般逼真渲染的附加好处。在一些实施例中，可微分渲染可用于减少噪声梯度。
现在参考图2C，图2C是示出了根据本公开的一些实施例的用于训练分布变换器模型以计算针对下游任务网络的任务而微调变换的场景图过程200C的示例说明。例如，分布变换器108的第二个目标可以是从概率语法102P生成数据，使得当在真实世界数据的目标验证集V上进行测试时，基于该数据训练的模型达到最佳性能。这可以被称为元目标，其中可以优化输入数据，以提高验证集V的准确性。可以将该元目标调整到为特定下游任务进行训练的任务网络。因此，可在以下等式(3)的目标下训练分布变换器108 Gθ：
其中score(S’)是在对任务网络进行数据R(Gθ(S))训练后，在验证数据V上获得的性能度量或得分。由于得分是使用验证数据而非S'来衡量的，因此等式(3)中的任务损失可能无法相对于参数θ进行微分。增强得分函数估计器或梯度的另一无偏估计器，可用于计算等式(3)的梯度。将目标重新定义为损失，并写出以下梯度产出等式(4)：
为了减少来自估计器梯度的方差，可以跟踪先前得分指数移动平均值，并从当前得分中减去该先前得分指数移动平均值。可以使用来自Gθ(S)的一个样本来近似此期望。
上面的等式(4)可能需要能够从分布变换器108采样和/或测量可能性。对于连续属性，可以将分布变换器108解释为预测每个属性的正态分布的均值，并带有预定义的方差。在一些实施例中可以使用从正态分布采样的重新参数化技巧。对于分类属性，可以从每个类别的预测对数概率的多项式分布中采样。如本文所述，在一些非限制性实施例中，分类属性可以是不可变的。
为了计算logpGθ(S’)，可以假设跨场景、属性和场景中的对象之间的独立性。结果，对于整个场景，等式(4)的可能性可以简单地分解，如下面的等式(5)所示：
其中，s’(υ,a)表示在批处理S’中，单个场景s’中，在节点υ中属性a。请注意，总和仅是每个节点的可变属性sA,mut(υ)。各个对数概率可以来自在此描述的定义的采样过程。
图2C提供了过程200C的概述，如上所述。可以从概率语法102中采样场景图106，并将其应用于分布变换器108。分布变换器108可以计算或预测变换的场景图110，所述变换的场景图110可以由渲染器112来生成合成场景和标签220(例如，图1的图像114和地面实况116)。可以使用合成数据集220(例如，使用图1的任务网络训练器118)来训练任务网络224A(表示未训练的任务网络224)。一旦被训练或至少被部分训练，任务网络224B(表示被部分训练或被完全训练的任务网络224)可以在真实世界标记的验证集222上进行测试。真实世界标记的验证集222可以包括表示真实世界场景或环境的真实世界图像和相应的地面实况或验证标签。如本文所述，可以使用得分(S')来确定和表示真实世界标记的验证集222上的任务网络224B的性能。
现在参考图3A-3B，图3A-3B是示出了根据本公开的一些实施例的使用真实世界分布和合成分布来训练分布变换器模型以计算变换的场景图的示例说明。例如，图3A和3B表示来自修改后的美国国家标准技术研究院(MNIST)数据库的数字分类。概率语法102从MNIST数据集(对于任何数字都具有相同的概率)中采样背景纹理、一位数字纹理(图像)，然后对数字属性进行采样——例如旋转和位置。渲染器112基于采样变换来变换纹理并将其粘贴到画布上。在此示例中，任务网络是小的2层CNN，后面是三个完全连接层。可以应用完全连接层(具有50、100和10个特征)中的缺失。在过程100和200的测试期间，任务网络在规则MNIST分类任务上实现了大于99％的准确性。
在图3A的示例中，概率语法102生成如场景图106所示的输入样本304A，这些输入样本304A是竖立的并且居中的，类似于规则MNIST数字。目标数据V和真实图像XR是图像302A，其中数字居中并始终旋转90度。因此，分布变换器108的目标是学习将输入样本304A中的数字旋转90度，同时保持它们在相同位置居中。从输出样本306A可以看出，分布变换器108成功地将每个输入样本304A旋转了90度，同时保持它们居中。
在图3B的示例中，概率语法102生成由场景图106表示的输入样本304B，这些输入样本像规则MNIST数字一样竖立且居中。目标数据V和真实图像XR是图像302B，其中，数字始终旋转90度，并移动到画布各自部分的左下角。因此，分布变换器108的目标是学习将输入样本304A中的数字旋转90度，同时还将数字变换到画布的各个部分的左下角。如输出样本306A所示，分布变换器108成功地将每个输入样本304A旋转90度，并将样本平移到画布各个部分的左下角。
结果，直接对来自概率语法102的输入场景进行训练，得到略高于随机性能的结果。然而，在过程100和200中使用分布变换器108来解决由概率语法102生成的场景与真实世界场景之间的分布差异，下游任务网络的准确性大于99％。更具体地，对于图3A的示例，使用概率语法102的准确度为14.8％，而使用分布变换器108的准确度为99.5％。类似地，对于图3B的示例，使用概率语法102的准确度为13.1％，而使用分布变换器108的准确度为99.3％。
现在参考图4A-4B，图4A-4B是示出了根据本公开的一些实施例的使用真实世界分布和合成分布来训练分布变换器模型以计算变换的场景图的示例说明。例如，在MNIST数据集和2D鸟瞰图上的模拟设置中验证过程100和200之后(如在2019年4月1日提交的美国临时申请No.62/827,313号和2018年11月16日提交的美国临时申请No.62/768,846号中所述，其全部内容通过引用合并于此)，针对为目标检测的下游任务训练的任务网络评估了过程100和200。KITTI数据集用作验证集V和真实世界图像XR。更具体地说，在该实验中，验证集V包括从KITTI训练集中随机抽取的100幅图像，其中包括相应的地面实况标签。其余训练数据(仅图像)形成XR。KITTI数据集包括挑战性的交通场景和从高速公路到城市再到更农村的邻里场景。另外，KITTI数据集包括简单子集、中等子集和困难子集，其范围包括图像数量和场景复杂性。与一些先前的实验相反，真实世界分布(例如，图2B的分布216)和合成分布(例如，图2B的分布214)之间的分布差异在这里自然地出现。
概率语法102定义道路场景，例如道路场景语法。在非限制性实施例中，可以由渲染器112以三维(3D)渲染从概率语法102采样场景图106，所述渲染器112可以是游戏引擎。图像402A和402B可以表示从概率语法102采样的场景图106生成的渲染。可以看出，图像402A和402B包括在某些方向、大小、颜色、姿势、位置、纹理等处的车辆、树木、建筑物、人行道和行人。图像402A和402B是2019年4月1日提交的美国临时申请No.62/827,313和2018年11月16日提交的美国临时申请No.62/768,846中图12左栏中的两个图像的线图表示，其全部内容通过引用合并于此。图像404A和404B表示从分布变换器108计算出的变换的场景图110生成的渲染。可以看出，图像404A和404B包括在与图像402A和402B不同的某些方向、大小、颜色、姿势、位置、纹理等处的车辆、树木、建筑物、人行道和行人。实际上，图像404A和404B中的表示包括与道路对齐的车辆，并且车辆之间的距离是有意义的。此外，除了树木、行人和建筑物的位置和其他属性的细微变化之外，相机的位置以及视场也可能不同。图像404A和404B是2019年4月1日提交的美国临时申请No.62/827,313和2018年11月16日提交的美国临时申请No.62/768,846中图12的中间栏中的两个图像的线图表示，其全部内容通过引用合并于此。
为了降低渲染和数值梯度的复杂度，训练分布变换器108顺序地优化场景的特定部分。例如，首先优化与汽车相关的属性，然后优化汽车和相机参数，然后将上下文元素(例如，建筑物、行人、树木等)的参数一起添加到训练中。因此，在本公开的实施例中，可以首先对一个或更多个参数进行优化，然后对附加参数进行优化，或者可以一次对所有参数进行优化。另外，分配和任务训练可以解耦(例如，关于图4A-4B的实验，首先根据过程200B对分布变换器108进行训练以用于分布，然后根据过程200C对分布变换器108进行针对对象检测的元任务的训练)。因此，在一些示例中，可以在重叠的时间执行针对分发和任务的训练，或者可以在不同的时间执行它们。所使用的任务网络是基于区域的卷积神经网络(RCNN)，所述卷积神经网络用于目标检测调整。
实验结果是使用0.5联合交集(IoU)处的平均精确度进行量化的，所述平均精确度测量两个边界之间的重叠。例如，根据过程100和200训练的任务网络预测可以是边界形状，并且KITTI验证集V可以包括相应的边界形状。这样，可以将任务网络在合成数据训练后预测的边界形状与来自验证集V的边界形状进行比较，以确定IoU。在使用场景图106渲染合成数据并训练任务网络的情况下，简单数据集的平均精确度为63.7，中等数据集的平均精确度为63.7，而困难数据集的平均精确度为62.2。相比之下，在仅使用过程200B的分布训练对汽车进行优化的变换的场景图110用于渲染合成数据和训练任务网络的情况下，简单数据集的平均精确度为66.4，中等数据集的平均精确度为66.5，而困难数据集的平均精确度为65.6。类似地，在仅使用过程200B的分布训练对汽车和相机参数进行优化的变换的场景图110用于渲染合成数据和训练任务网络的情况下，简单数据集的平均精确度为65.9，中等数据集的平均精确度为66.3，困难数据集的平均精确度为65.9。作为另一个示例，其中仅使用过程200B的分布训练对汽车、相机参数和上下文特征进行优化的变换的场景图110用于渲染合成数据并训练任务网络的情况下，简单数据集的平均精确度为65.9，中等数据集的平均精确度为66.3，困难数据集的平均精确度是66.0。在又一个示例中，其中使用过程200B的分布训练和过程200C的任务训练对汽车、相机参数和上下文特征进行优化的变换的场景图110，用于渲染合成数据并训练任务网络，简单数据集的平均精确度为66.7，中等数据集的平均精确度为66.3，困难数据集的平均精确度为66.2。因此，对于每个不同的训练类型和参数优化类型，当使用分布变换器108来生成变换的场景图110时的结果优于仅使用来自概率语法102的场景图106时的结果。
此外，由于验证集V包括标记的训练数据，因此有效的基线是在V上训练模型(例如，来自KITTI训练数据的一百张图像)。根据过程200B，通过仅使用V训练并使用V进行微调，使用从概率语法102采样的场景图106的平均精确度在简单数据集上得到71.3，在中等数据集上得到72.7，在困难数据集上得到72.7。相反，根据过程200B，通过仅使用V训练并使用V进行微调，使用由分布变换器108变换的变换的场景图110的平均精确度在简单数据集上得到72.4，在中等数据集上得到73.9，在困难数据集上得到73.9。因此，这些数量训练结果表明，即使对于根据过程200B的属性分布差距未针对分布变量进行优化，过程200C的任务训练也可提高准确性。另外，在同时实施过程200B的分布训练和过程200C的任务训练的情况下，实现了最准确的结果。
现在参考图5A-5B，图5A-5B是示出了根据本公开的一些实施例的当使用与基线模型相比由分布变换器模型生成的合成数据集时下游任务网络性能的示例说明。例如，图像502A和502B示出了根据本文所述的过程100和200使用变换的场景图110训练的任务网络的预测，而图像504A和504B仅说明使用场景图106生成的场景训练的相同任务网络的预测，而不使用分布变换器108。如图5A-5B所示，图像502A和502B比图像504A和504B描绘了更精确的对象检测。图像502A和502B是从图14的底部列采样的线条图，并且图像504A和504B是从2019年4月1日提交的美国临时申请No.62/827,313和2018年11月16日提交的美国临时申请No.62/768,846的图14的顶部栏中采样的线条图，所述专利通过引用整体并入本文。
现在参考图6-7，本文所述的方法600和700的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，各种功能可以由执行存储在存储器中的指令的处理器来实现。所述方法600和700也可以具体化为存储在计算机存储介质上的计算机可用指令。仅举几例，所述方法600和700可以由独立应用程序、服务或托管服务(独立地或者与另一个托管服务结合地)或者另一个产品的插件提供。另外，通过示例的方式，关于图1和图2A-2C的处理器描述了方法600和700。然而，附加地或者可替代地，这些方法600和700可以由在任何一个过程中的任意一种系统(例如，使用图8的示例计算设备800的某些或全部组件)或者任意系统或过程组合(包括但不限于本文描述的那些系统)执行。
图6是示出了根据本公开的一些实施例的用于训练分布变换器模型以计算变换的场景图方法600的流程图。在框B602处，方法600包括从场景语法中采样场景图。例如，可以从概率语法102中采样场景图106。
在框B604处，方法600包括将表示所述场景图的第一数据应用于第一机器学习模型。例如，场景图106可以应用于分布变换器108。
在框B606处，方法600包括使用所述第一机器学习模型来计算表示变换的场景图的第二数据。例如，分布变换器108可以至少部分地基于对场景图106的处理来计算变换的场景图110。
在框B608处，方法600包括渲染表示图像的第三数据。例如，渲染器可以渲染与合成数据集相对应的图像114。
在框B610处，方法600包括生成表示对应的地面实况的第四数据。例如，渲染器112或另一组件可以通过使用图像数据、变换的场景图110和/或其他信息来生成地面实况116。
在框B612处，方法600包括使用第三数据和第四数据训练第二机器学习模型。例如，任务网络训练器118可以使用图像114和地面实况116来训练任务网络。
图7是示出了根据本公开的一些实施例的用于使用分布变换器模型生成的合成数据集来训练下游任务网络方法700的流程图。在框B702处，方法700包括使用机器学习模型来计算表示变换的场景图的第一数据。例如，分布变换器108可以使用将来自概率语法102采样的场景图106作为输入，来生成变换的场景图110。
在框B704处，方法700包括至少部分地基于第一数据渲染表示合成图像的第二数据。例如，可以使用渲染器112，并且至少部分地基于变换的场景图110来渲染所生成的合成场景。
在框B706处，方法700包括通过将合成属性分布与真实世界属性分布进行比较来确定差异。例如，可以通过将对应于生成合成场景210的分布214与对应于真实场景212的分布216进行比较来确定MMD 218。
在框B708处，方法700包括至少部分地基于所述差异，生成表示网络更新信息的第三数据。例如，MMD 218可用于生成地面实况或其他网络训练信息，用于更新分布变换器108的参数。
在框B710处，方法700包括使用第三数据训练机器学习模型。例如，可以将由此产生的差异或其他网络更新信息反向传播到分布变换器108，以更新分布变换器的参数。结果，随着时间的推移，与所生成的合成场景210相对应的分布214可以变得与真实场景212相对应的分布216更相似。
图8为适合用于实现本公开的一些实施例的示例计算设备800的框图。计算设备800可以包括直接或间接耦合下列设备的总线802：内存804，一个或更多个中央处理单元(CPU)806，一个或更多个图形处理单元(GPU)808，通信接口810，输入/输出(I/O)端口812，输入/输出组件814，电源816，以及一个或更多个呈现组件818(例如显示器)。
尽管图8的各个框被示为经由具有线路的总线802连接，但是这并不意图是限制性的，并且仅仅为了清楚起见。例如，在一些实施例中，诸如显示设备之类的呈现组件818可以被认为是I/O组件814(例如如果显示器为触摸屏)。作为另一个示例，CPU 806和/或GPU 808可以包括内存(例如，内存804可以表示除了GPU 808、CPU 806和/或其他组件的内存以外的存储设备)。换言之，图8的计算设备仅仅是说明性的。在诸如“工作站”、“服务器”、“膝上型电脑”、“台式机”、“平板电脑”、“客户端设备”、“移动设备”、“手持式设备”、“游戏控制台”、“电子控制单元(ECU)”、“虚拟现实系统”和/或其他设备或系统类型之类的类别之间不进行区分，因为所有这些都被考虑在图8的计算设备的范围内。
总线802可以表示一条或更多条总线，例如地址总线、数据总线、控制总线或者其组合。总线802可以包括一种或更多种总线类型，例如行业标准架构(ISA)总线、扩展行业标准架构(EISA)总线、视频电子标准协会(VESA)总线、外围组件互连(PCI)总线、外围组件互连快速(PCIe)总线，和/或另一种类型的总线。
内存804可以包括各种各样的计算机可读介质中的任何介质。计算机可读介质可以是可以由计算设备800访问的任何可用介质。计算机可读介质可以包括易失性和非易失性介质以及可移除和不可移除介质。举例而言且非限制性地，计算机可读介质可以包括计算机存储介质和通信介质。
计算机存储介质可以包括易失性和非易失性介质和/或可移除和不可移除介质，其以用于存储诸如计算机可读指令、数据结构、程序模块和/或其他数据类型之类的信息的任何方法或技术实现。例如，内存804可以存储计算机可读指令(例如其表示程序和/或程序元素，例如操作系统)。计算机存储介质可以包括但不限于RAM、ROM、EEPROM、闪存或者其他存储技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备，或者可以用来存储期望的信息且可以由计算设备800访问的任何其他介质。当在本文使用时，计算机存储介质并不包括信号本身。
通信介质可以在诸如载波之类的调制数据信号或其他传输机制中包含计算机可读指令、数据结构、程序模块和/或其他数据类型，并且包括任何信息输送介质。术语“调制数据信号”可以指这样的信号，该信号使它的特性中的一个或更多个以这样的将信息编码到该信号中的方式设置或改变。举例而言且非限制性地，通信介质可以包括诸如有线网络或直接有线连接之类的有线介质，以及诸如声音、RF、红外和其他无线介质之类的无线介质。任何以上所述的组合也应当包含在计算机可读介质的范围内。
CPU 806可以被配置为执行计算机可读指令以便控制计算设备800的一个或更多个组件执行本文描述的方法和/或过程中的一个或更多个。CPU806中的每一个可以包括能够同时处理大量软件线程的一个或更多个核(例如一个、两个、四个、八个、二十八个、七十二个等等)。CPU 806可以包括任何类型的处理器，并且可以包括不同类型的处理器，这取决于实现的计算设备800的类型(例如具有用于移动设备的较少核的处理器以及具有用于服务器的更多核的处理器)。例如，取决于计算设备800的类型，处理器可以是使用精简指令集计算(RISC)实现的ARM处理器或者使用复杂指令集计算(CISC)实现的x86处理器。除了一个或更多个微处理器或者诸如数学协处理器之类的补充协处理器之外，计算设备800还可以包括一个或更多个CPU 806。
GPU 808可以由计算设备800用来渲染图形(例如3D图形)。GPU 808可以包括能够同时处理数百或数千个软件线程的数百或数千个核。GPU808可以响应于渲染命令(例如经由主机接口接收的来自CPU 806的渲染命令)而生成用于输出图像的像素数据。GPU 808可以包括诸如显示内存之类的用于存储像素数据的图形内存。显示内存可以作为内存804的部分而被包括。GPU 808可以包括(例如经由链路)并行操作的两个或更多GPU。当组合在一起时，每个GPU 808可以生成用于输出图像的不同部分或者用于不同输出图像的像素数据(例如，第一GPU用于第一图像，第二GPU用于第二图像)。每个GPU可以包括它自己的内存，或者可以与其他GPU共享内存。
在其中计算设备800不包括GPU 808的示例中，CPU 806可以用来渲染图形。在任何实施例中，CPU 806和/或GPU 808可以与诸如游戏引擎之类的图形引擎结合使用以渲染合成数据集D(θ)，以用于确定MMD 218和/或训练任务网络。例如，由于GPU 808具有渲染照片级逼真的图像的能力，尤其是使用诸如光线追踪之类的技术，因此合成数据集不仅在上下文方面而且在视觉外观上都可以更类似于真实世界的场景(例如，缩小域差距)。
通信接口810可以包括一个或更多个接收器、发送器和/或收发器，其使得计算设备800能够经由电子通信网络与其他计算设备通信，包括有线和/或无线通信。通信接口810可以包括使能通过若干不同网络中的任何网络进行通信的组件和功能，所述网络例如无线网络(例如Wi-Fi、Z波、蓝牙、蓝牙LE、ZigBee等等)、有线网络(例如通过以太网通信)、低功率广域网(例如LoRaWAN、SigFox等等)和/或因特网。
I/O端口812可以使得计算设备800能够逻辑地耦合到包括I/O组件814、呈现组件818和/或其他组件在内的其他设备，其中一些可以内置到(例如集成到)计算设备800中。说明性I/O组件814包括麦克风、鼠标、键盘、操纵杆、游戏垫、游戏控制器、碟形卫星天线、扫描仪、打印机、无线设备等等。I/O组件814可以提供处理用户生成的空中手势、语音或其他生理输入的自然用户接口(NUI)。在一些实例中，输入可以传输至适当的网络元件以便进一步处理。NUI可以实现语音识别、手写笔识别、面部识别、生物特征识别、屏幕上和邻近屏幕的手势识别、空中手势、头部和眼睛跟踪以及与计算设备800的显示器关联的触摸识别(如下文更详细地描述的)的任意组合。计算设备800可以包括诸如立体照相机系统之类的深度照相机、红外照相机系统、RGB照相机系统、触摸屏技术以及这些的组合，以用于手势检测和识别。此外，计算设备800可以包括使能运动检测的加速度计或陀螺仪(例如作为惯性测量单元(IMU)的部分)。在一些示例中，加速度计或陀螺仪的输出可以由计算设备800用来渲染沉浸式增强现实或者虚拟现实。
电源816可以包括硬接线电源、电池电源或者其组合。电源816可以向计算设备800供电以使得计算设备800的组件能够操作。
呈现组件818可以包括显示器(例如监视器、触摸屏、电视屏幕、平视显示器(HUD)、其他显示器类型或者其组合)、扬声器和/或其他呈现组件。呈现组件818可以接收来自其他组件(例如GPU 808、CPU 806等等)的数据，并且输出该数据(例如作为图像、视频、声音等等)。
本公开可以在由计算机或者诸如个人数字助理或其他手持式设备之类的其他机器执行的、包括诸如程序模块之类的计算机可执行指令的机器可使用指令或者计算机代码的一般背景下进行描述。通常，包括例程、程序、对象、组件、数据结构等等的程序模块指的是执行特定任务或者实现特定抽象数据类型的代码。本公开可以在各种各样的系统配置中实践，这些配置包括手持式设备、消费电子器件、通用计算机、更专业的计算设备等等。本公开也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境(例如，云环境)中实践。例如，过程100和200或其部分可以使用云基础设施来执行，例如能够进行有效图形处理和渲染的基于云的GPU服务器。
如在本文中使用的，“和/或”关于两个或更多元素的叙述应当解释为仅指一个元素或者元素组合。例如，“元素A、元素B和/或元素C”可以包括仅仅元素A，仅仅元素B，仅仅元素C，元素A和元素B，元素A和元素C，元素B和元素C，或者元素A、B和C。此外，“元素A或元素B中的至少一个”可以包括元素A中的至少一个，元素B中的至少一个，或者元素A中的至少一个和元素B中的至少一个。进一步，“元素A和元素B中的至少一个”可以包括元素A中的至少一个，元素B中的至少一个，或者元素A中的至少一个和元素B中的至少一个。
这里详细地描述了本公开的主题以满足法定要求。然而，描述本身并非意在限制本公开的范围。相反地，本发明人已经设想到，要求保护的主题也可以以其他的方式具体化，以包括与本文中结合其他当前或未来技术描述的步骤不同的步骤或者相似的步骤的组合。而且，尽管术语“步骤”和/或“块”在本文中可以用来隐含采用的方法的不同元素，但是这些术语不应当被解释为暗示本文公开的各个步骤之中或之间的任何特定顺序，除非明确描述了各步骤的顺序。

Claims (23)

1.一种方法，包括：使用至少一个机器学习模型并且至少部分地基于表示一个或更多个初始场景图的第一数据来计算表示一个或更多个变换的场景图的第二数据，所述一个或更多个变换的场景图包括一个或更多个变换的属性，所述一个或更多个变换的属性与对应于所述一个或更多个初始场景图的一个或更多个初始属性不同；至少部分地基于所述第二数据渲染表示一个或更多个合成图像的第三数据；通过至少部分地将对应于所述一个或更多个合成图像的一个或更多个合成属性分布与对应于一个或更多个真实世界图像的一个或更多个真实世界属性分布进行比较来确定至少一个差异；至少部分地基于所述至少一个差异，生成表示网络更新信息的第四数据；以及使用所述第四数据来训练所述至少一个机器学习模型。
2.根据权利要求1所述的方法，其中所述一个或更多个合成属性分布或所述一个或更多个真实世界属性分布中的至少一个至少部分地通过以下步骤确定：将表示所述一个或更多个真实世界图像或所述一个或更多个合成图像中的至少一个的第五数据应用于被训练用于特征提取的至少一个另外的机器学习模型；以及至少部分地基于所述至少一个另外的机器学习模型的输出来确定所述一个或更多个合成属性分布或所述一个或更多个真实世界属性分布中的至少一个。
3.根据权利要求1所述的方法，其中，所述一个或更多个初始场景图是从概率场景语法采样的。
4.根据权利要求1所述的方法，其中，所述至少一个机器学习模型包括图卷积网络。
5.根据权利要求1所述的方法，其中，所述至少一个差异是最大平均差异MMD。
6.根据权利要求1所述的方法，还包括：使用所述一个或更多个合成图像和相应的地面实况来训练至少一个另外的机器学习模型；在真实世界验证集上测试所述至少一个另外的机器学习模型；至少部分地基于所述测试来确定所述至少一个另外的机器学习模型的至少一个性能得分；以及至少部分地基于所述至少一个性能得分来进一步训练所述至少一个另外的机器学习模型。
7.根据权利要求6所述的方法，其中至少一个第一损失函数用于使用所述第四数据来训练所述至少一个机器学习模型，并且至少一个第二损失函数用于至少部分地基于所述至少一个性能得分来训练所述至少一个机器学习模型，所述至少一个第一损失函数不同于所述至少一个第二损失函数。
8.根据权利要求6所述的方法，其中，至少部分地基于所述第三数据自动生成所述地面实况。
9.根据权利要求1所述的方法，其中所述至少一个机器学习模型的一个或更多个参数通过至少部分地训练所述至少一个机器学习模型来初始化，以计算一个或更多个更新场景图，以使得所述一个或更多个更新场景图在与所述一个或更多个初始场景图的阈值相似性内。
10.根据权利要求1所述的方法，其中，使用至少一个自动编码器来执行初始化所述至少一个机器学习模型的一个或更多个参数。
11.一种系统，包括：计算设备，所述计算设备包括一个或更多个处理设备，所述一个或更多个处理设备用于引起以下项的实例化：分布变换器，用于使用至少一个机器学习模型并且至少部分地基于表示一个或更多个初始场景图的第一数据来计算表示一个或更多个变换的场景图的第二数据，每个变换的场景图包括一个或更多个变换的属性，所述一个或更多个变换的属性与对应于所述一个或更多个初始场景图的一个或更多个初始属性不同；渲染器，用于至少部分地基于所述第二数据来渲染表示一个或更多个合成图像的第三数据；差异确定器，用于确定对应于所述一个或更多个合成图像的一个或更多个合成属性分布与对应于一个或更多个真实世界图像的一个或更多个真实世界属性分布之间的至少一个差异；以及模型训练器，用于生成表示网络更新信息的第四数据，所述网络更新信息用于训练所述至少一个机器学习模型，所述网络更新信息至少部分地基于所述第三数据生成。
12.根据权利要求11所述的系统，其中所述一个或更多个处理设备进一步引起以下项的实例化：任务网络训练器，用于使用所述第三数据和所述第四数据来训练至少一个任务网络；以及任务网络验证器，用于在处理至少一个真实世界验证集时确定所述至少一个任务网络的至少一个性能得分，其中，所述至少一个模型训练器至少部分地基于至少一个性能得分来进一步训练所述机器学习模型。
13.根据权利要求11所述的系统，其中，所述分布变换器包括至少一个图卷积网络。
14.根据权利要求11所述的系统，其中所述一个或更多个处理设备进一步引起以下项的实例化：任务网络验证器，用于在处理至少一个真实世界验证集时确定至少一个任务网络的至少一个性能得分，其中，所述模型训练器使用至少一个第一损失函数来使用所述第四数据训练所述至少一个机器学习模型，以及使用与所述至少一个第一损失函数不同的至少一个第二损失函数来至少部分地基于所述至少一个性能得分训练所述至少一个机器学习模型。
15.一种处理器，包括：一个或更多个电路，所述一个或更多个电路用于：使用至少一个机器学习模型并且至少部分地基于一个或更多个初始场景图来计算一个或更多个变换的场景图，所述一个或更多个变换的场景图包括一个或更多个变换的属性，所述一个或更多个变换的属性与对应于所述一个或更多个初始场景图的一个或更多个初始属性不同；至少部分地基于所述一个或更多个变换的场景图渲染一个或更多个合成图像；通过至少部分地将对应于所述一个或更多个合成图像的一个或更多个合成属性分布与对应于一个或更多个真实世界图像的一个或更多个真实世界属性分布进行比较来确定至少一个差异；至少部分地基于所述至少一个差异，生成网络更新信息；以及使用所述网络更新信息来训练所述至少一个机器学习模型。
16.根据权利要求15所述的处理器，其中所述一个或更多个合成属性分布或所述一个或更多个真实世界属性分布中的至少一个至少部分地通过以下操作确定：将所述一个或更多个真实世界图像或所述一个或更多个合成图像中的至少一个应用于被训练用于特征提取的至少一个另外的机器学习模型；以及至少部分地基于所述至少一个另外的机器学习模型的输出来确定所述一个或更多个合成属性分布或所述一个或更多个真实世界属性分布中的至少一个。
17.根据权利要求15所述的处理器，其中，所述一个或更多个初始场景图是从概率场景语法采样的。
18.根据权利要求15所述的处理器，其中，所述至少一个机器学习模型包括图卷积网络。
19.根据权利要求15所述的处理器，其中，所述至少一个差异是最大平均差异MMD。
20.根据权利要求15所述的处理器，其中，所述一个或更多个电路进一步用于：使用所述一个或更多个合成图像和相应的地面实况来训练至少一个另外的机器学习模型；在真实世界验证集上测试所述至少一个另外的机器学习模型；至少部分地基于所述测试来确定所述至少一个另外的机器学习模型的至少一个性能得分；以及至少部分地基于所述至少一个性能得分来进一步训练所述至少一个另外的机器学习模型。
21.根据权利要求20所述的处理器，其中，至少部分地基于所述一个或更多个合成图像自动生成所述地面实况。
22.根据权利要求20所述的处理器，其中至少一个第一损失函数用于使用所述网络更新信息来训练所述至少一个机器学习模型，并且至少一个第二损失函数用于至少部分地基于所述至少一个性能得分来训练所述至少一个机器学习模型，所述至少一个第一损失函数不同于所述至少一个第二损失函数。
23.根据权利要求15所述的处理器，其中所述至少一个机器学习模型的一个或更多个参数通过至少部分地训练所述至少一个机器学习模型来初始化，以计算一个或更多个更新场景图，以使得所述一个或更多个更新场景图在与所述一个或更多个初始场景图的阈值相似性内。
CN201980074940.6A 2018-11-16 2019-11-15 学习生成用于训练神经网络的合成数据集 Active CN113039563B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862768846P 2018-11-16 2018-11-16
US62/768,846 2018-11-16
US201962827313P 2019-04-01 2019-04-01
US62/827,313 2019-04-01
PCT/US2019/061820 WO2020102733A1 (en) 2018-11-16 2019-11-15 Learning to generate synthetic datasets for training neural networks

Publications (2)

Publication Number Publication Date
CN113039563A CN113039563A (zh) 2021-06-25
CN113039563B true CN113039563B (zh) 2024-03-12

Family

ID=70726441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980074940.6A Active CN113039563B (zh) 2018-11-16 2019-11-15 学习生成用于训练神经网络的合成数据集

Country Status (4)

Country Link
US (2) US11610115B2 (zh)
CN (1) CN113039563B (zh)
DE (1) DE112019005750T5 (zh)
WO (1) WO2020102733A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
AU2019357615B2 (en) 2018-10-11 2023-09-14 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11580379B1 (en) * 2019-01-29 2023-02-14 Amazon Technologies, Inc. Phased deployment of deep-learning models to customer facing APIs
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10860878B2 (en) * 2019-02-16 2020-12-08 Wipro Limited Method and system for synthesizing three-dimensional data
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11619618B2 (en) * 2019-12-09 2023-04-04 International Business Machines Corporation Sensor tuning—sensor specific selection for IoT—electronic nose application using gradient boosting decision trees
US10902551B1 (en) * 2019-12-17 2021-01-26 X Development Llc True positive transplant
US10853385B1 (en) 2020-03-05 2020-12-01 Capital One Services, Llc Systems and methods for formatting data using a recurrent neural network
CN111768369B (zh) * 2020-06-01 2023-08-25 湖南视比特机器人有限公司 钢板角点与边点定位方法和工件抓取方法及生产线
US11586919B2 (en) * 2020-06-12 2023-02-21 International Business Machines Corporation Task-oriented machine learning and a configurable tool thereof on a computing environment
CN111783996B (zh) * 2020-06-18 2023-08-25 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
WO2022010924A1 (en) * 2020-07-07 2022-01-13 Omni Consumer Products, Llc Systems and methods for generating images for training artificial intelligence systems
WO2022061289A1 (en) * 2020-09-21 2022-03-24 Nvidia Corporation Simulating viewpoint transformations for sensor independent scene understanding in autonomous systems
US11694038B2 (en) * 2020-09-23 2023-07-04 Capital One Services, Llc Systems and methods for generating dynamic conversational responses through aggregated outputs of machine learning models
CN112164097B (zh) * 2020-10-20 2024-03-29 南京莱斯网信技术研究院有限公司 一种船舶视频检测样本采集方法
CN112150575B (zh) * 2020-10-30 2023-09-01 深圳市优必选科技股份有限公司 场景数据获取方法及模型训练方法、装置及计算机设备
US20220147838A1 (en) * 2020-11-09 2022-05-12 Adobe Inc. Self-supervised visual-relationship probing
US20220147680A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor
US20220156638A1 (en) * 2020-11-16 2022-05-19 International Business Machines Corporation Enhancing data generation with retinforcement learning
CN112561644B (zh) * 2020-12-16 2023-08-01 深圳市网联安瑞网络科技有限公司 基于链接预测的商品推荐方法、装置及相关设备
CN112613411B (zh) * 2020-12-25 2022-05-27 浙江大学 基于生成对抗网络的行人重识别数据集姿态数据增广方法
TWI816078B (zh) * 2021-01-05 2023-09-21 財團法人工業技術研究院 樣本分群探勘方法
CN112785495A (zh) * 2021-01-27 2021-05-11 驭势科技(南京)有限公司 图像处理模型训练方法、图像生成方法、装置和设备
US11636132B1 (en) * 2021-02-16 2023-04-25 Wells Fargo Bank, N.A. Systems and methods for automatically deriving data transformation criteria
WO2022177728A1 (en) * 2021-02-18 2022-08-25 The Trustees Of Princeton University System and method for mental health disorder detection system based on wearable sensors and artificial neural networks
DE102021104077B3 (de) 2021-02-22 2022-05-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur automatisierten Generierung von Verkehrsdaten
CN113221659B (zh) * 2021-04-13 2022-12-23 天津大学 一种基于不确定感知网络的双光车辆检测方法及装置
US20220335258A1 (en) * 2021-04-16 2022-10-20 Toyota Research Institute, Inc. Systems and methods for dataset and model management for multi-modal auto-labeling and active learning
US11854253B2 (en) * 2021-06-26 2023-12-26 Intel Corporation Apparatus, method, and computer-readable medium for robust response to adversarial perturbations using hyperdimensional vectors
CN114061586A (zh) * 2021-11-10 2022-02-18 北京有竹居网络技术有限公司 用于生成电子设备的导航路径的方法和产品
CN114528772B (zh) * 2022-04-20 2022-07-01 深圳市森树强电子科技有限公司 机电变换器控制系统中充电器充电预测方法
DE102022110870A1 (de) 2022-05-03 2023-11-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Trainingseinrichtung zum Trainieren eines Maschinenlernmodells durch effizientes unsicherheitsbasiertes Bereitstellen von Trainingsdaten
CN114897664A (zh) * 2022-05-19 2022-08-12 北京百度网讯科技有限公司 图模型部署方法及装置、gpu和存储介质
US20240037189A1 (en) * 2022-07-29 2024-02-01 Plusai, Inc. Data augmentation by manipulating object contents

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714262A (zh) * 2009-12-10 2010-05-26 北京大学 单幅图像的三维场景重建方法
EP3185113A1 (en) * 2015-12-23 2017-06-28 Intuilab Graphical interface to generate instructions to control a representation of an output interface of one or more objects
WO2018102717A1 (en) * 2016-12-02 2018-06-07 Google Llc Determining structure and motion in images using neural networks
CN108288088A (zh) * 2018-01-17 2018-07-17 浙江大学 一种基于端到端全卷积神经网络的场景文本检测方法
CN108304861A (zh) * 2017-01-11 2018-07-20 福特全球技术公司 生成自动车辆泄漏探测的训练数据

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852462B2 (en) 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US7068815B2 (en) 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US7409295B2 (en) 2004-08-09 2008-08-05 M/A-Com, Inc. Imminent-collision detection system and process
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
EP2383713B1 (en) 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
JP4462333B2 (ja) 2007-11-13 2010-05-12 株式会社デンソー 走行支援装置
WO2009131634A1 (en) 2008-04-14 2009-10-29 Google Inc. Panning using virtual surfaces
KR101717787B1 (ko) 2010-04-29 2017-03-17 엘지전자 주식회사 디스플레이장치 및 그의 음성신호 출력 방법
KR101225626B1 (ko) 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
US9489635B1 (en) 2012-11-01 2016-11-08 Google Inc. Methods and systems for vehicle perception feedback to classify data representative of types of objects and to request feedback regarding such classifications
CN104424466B (zh) 2013-08-21 2018-05-15 佳能株式会社 对象检测方法、对象检测设备及图像拾取设备
US9373057B1 (en) 2013-11-01 2016-06-21 Google Inc. Training a neural network to detect objects in images
EP2950175B1 (de) 2014-05-27 2021-03-31 dSPACE digital signal processing and control engineering GmbH Verfahren und Vorrichtung zum Testen eines Steuergerätes
KR102622571B1 (ko) 2015-02-10 2024-01-09 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US9811756B2 (en) 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes
US11630800B2 (en) 2015-05-01 2023-04-18 Nvidia Corporation Programmable vision accelerator
US9902401B2 (en) 2015-05-10 2018-02-27 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US10002471B2 (en) 2015-09-30 2018-06-19 Ants Technology (Hk) Limited Systems and methods for autonomous vehicle navigation
DE102015221920A1 (de) 2015-11-09 2017-05-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Computerprogrammprodukt, Vorrichtung, und Fahrzeug umfassend die Vorrichtung zum Steuern einer Trajektorienplanung eines Egofahrzeugs
DE102015226762B4 (de) 2015-12-28 2024-04-25 Robert Bosch Gmbh Verfahren zur Korrektur mindestens eines Kollisionsparameters und korrespondierendes integriertes Sicherheitssystem für ein Fahrzeug
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US9996771B2 (en) 2016-02-15 2018-06-12 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models
US9802599B2 (en) 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
JP6575818B2 (ja) 2016-03-25 2019-09-18 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
US9896096B2 (en) 2016-04-11 2018-02-20 David E. Newman Systems and methods for hazard mitigation
US10032067B2 (en) 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN106114507B (zh) 2016-06-21 2018-04-03 百度在线网络技术（北京）有限公司 用于智能车辆的局部轨迹规划方法和装置
KR20230017365A (ko) 2016-06-27 2023-02-03 모빌아이 비젼 테크놀로지스 엘티디. 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
WO2018002910A1 (en) 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
WO2018021046A1 (ja) 2016-07-26 2018-02-01 株式会社カネカ ３ｈｈ単位含有共重合ｐｈａを生産する形質転換体、及び当該ｐｈａの製造方法
GB2553782B (en) 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
US10127670B2 (en) 2016-09-27 2018-11-13 Xactware Solutions, Inc. Computer vision systems and methods for detecting and modeling features of structures in images
US10289469B2 (en) 2016-10-28 2019-05-14 Nvidia Corporation Reliability enhancement utilizing speculative execution systems and methods
US20180136332A1 (en) 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images
US20180158244A1 (en) 2016-12-02 2018-06-07 Ayotle Virtual sensor configuration
US10859395B2 (en) 2016-12-30 2020-12-08 DeepMap Inc. Lane line creation for high definition maps for autonomous vehicles
US10691847B2 (en) 2017-01-13 2020-06-23 Sap Se Real-time damage determination of an asset
US11288595B2 (en) 2017-02-14 2022-03-29 Groq, Inc. Minimizing memory and processor consumption in creating machine learning models
US10430978B2 (en) * 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
US10209718B2 (en) 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
US11899669B2 (en) * 2017-03-20 2024-02-13 Carnegie Mellon University Searching of data structures in pre-processing data for a machine learning classifier
US10460180B2 (en) 2017-04-20 2019-10-29 GM Global Technology Operations LLC Systems and methods for visual classification with region proposals
US10108867B1 (en) 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US20180349746A1 (en) 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US10310087B2 (en) 2017-05-31 2019-06-04 Uber Technologies, Inc. Range-view LIDAR-based object detection
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US11214273B2 (en) 2017-06-23 2022-01-04 Nvidia Corporation Method of using a single controller (ECU) for a fault-tolerant/fail-operational self-driving system
US20180373980A1 (en) 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
WO2019028725A1 (en) 2017-08-10 2019-02-14 Intel Corporation CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT
US10339669B2 (en) 2017-08-22 2019-07-02 Here Global B.V. Method, apparatus, and system for a vertex-based evaluation of polygon similarity
US11487988B2 (en) 2017-08-31 2022-11-01 Ford Global Technologies, Llc Augmenting real sensor recordings with simulated sensor data
US10235601B1 (en) * 2017-09-07 2019-03-19 7D Labs, Inc. Method for image analysis
KR102026697B1 (ko) 2017-09-21 2019-09-30 엘지전자 주식회사 주행 시스템 및 차량
US10474917B2 (en) * 2017-09-26 2019-11-12 Siemens Healthcare Gmbh Smart editing of image-processing results
US10579897B2 (en) 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
US10997491B2 (en) 2017-10-04 2021-05-04 Huawei Technologies Co., Ltd. Method of prediction of a state of an object in the environment using an action model of a neural network
US10599546B1 (en) 2017-10-25 2020-03-24 Uatc, Llc Autonomous vehicle testing systems and methods
US20190129831A1 (en) 2017-10-27 2019-05-02 Uber Technologies, Inc. Autonomous Vehicle Simulation Testing Systems and Methods
US10580158B1 (en) 2017-11-03 2020-03-03 Zoox, Inc. Dense depth estimation of image data
WO2019094843A1 (en) 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US11017550B2 (en) 2017-11-15 2021-05-25 Uatc, Llc End-to-end tracking of objects
US11062461B2 (en) 2017-11-16 2021-07-13 Zoox, Inc. Pose determination from contact points
US10762396B2 (en) 2017-12-05 2020-09-01 Utac, Llc Multiple stage image based object detection and recognition
EP3607744A4 (en) 2017-12-08 2020-04-29 Baidu.com Times Technology (Beijing) Co., Ltd. DEPTH DETECTION IN A STEREO CAMERA WITH HARDWARE ACCELERATOR
US20190179979A1 (en) 2017-12-13 2019-06-13 Uber Technologies, Inc. Simulated Sensor Testing
DE112019000070T5 (de) 2018-01-07 2020-03-12 Nvidia Corporation Führen von fahrzeugen durch fahrzeugmanöver unter verwendung von modellen für maschinelles lernen
US11150663B2 (en) 2018-01-26 2021-10-19 Nvidia Corporation Detection of hazardous driving using machine learning
US11079764B2 (en) 2018-02-02 2021-08-03 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicles
US11789449B2 (en) 2018-02-09 2023-10-17 Nvidia Corporation Controlling autonomous vehicles using safe arrival times
US20190251442A1 (en) 2018-02-14 2019-08-15 Nvidia Corporation Pruning convolutional neural networks
DE112019000049T5 (de) 2018-02-18 2020-01-23 Nvidia Corporation Für autonomes fahren geeignete objekterfassung und erfassungssicherheit
US10816978B1 (en) 2018-02-22 2020-10-27 Msc.Software Corporation Automated vehicle artificial intelligence training based on simulations
DE112019000122T5 (de) 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
US10157331B1 (en) 2018-03-08 2018-12-18 Capital One Services, Llc Systems and methods for image preprocessing to improve accuracy of object recognition
WO2019178548A1 (en) 2018-03-15 2019-09-19 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US10740954B2 (en) 2018-03-17 2020-08-11 Nvidia Corporation Shadow denoising in ray-tracing applications
WO2019182974A2 (en) 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
WO2019191313A1 (en) 2018-03-27 2019-10-03 Nvidia Corporation Remote operation of vehicles using immersive virtual reality environments
US10885698B2 (en) 2018-08-10 2021-01-05 Nvidia Corporation Method for programmable timeouts of tree traversal mechanisms in hardware
US10942030B2 (en) 2018-08-17 2021-03-09 Lyft, Inc. Road segment similarity determination
US10625748B1 (en) 2019-06-28 2020-04-21 Lyft, Inc. Approaches for encoding environmental information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714262A (zh) * 2009-12-10 2010-05-26 北京大学 单幅图像的三维场景重建方法
EP3185113A1 (en) * 2015-12-23 2017-06-28 Intuilab Graphical interface to generate instructions to control a representation of an output interface of one or more objects
WO2018102717A1 (en) * 2016-12-02 2018-06-07 Google Llc Determining structure and motion in images using neural networks
CN108304861A (zh) * 2017-01-11 2018-07-20 福特全球技术公司 生成自动车辆泄漏探测的训练数据
CN108288088A (zh) * 2018-01-17 2018-07-17 浙江大学 一种基于端到端全卷积神经网络的场景文本检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Human-centric Indoor Scene Synthesis Using Stochastic Grammar;Siyuan Qi等;IEEE;5899-5908 *

Also Published As

Publication number Publication date
US20230229919A1 (en) 2023-07-20
WO2020102733A1 (en) 2020-05-22
DE112019005750T5 (de) 2021-08-05
US11610115B2 (en) 2023-03-21
US20200160178A1 (en) 2020-05-21
CN113039563A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113039563B (zh) 学习生成用于训练神经网络的合成数据集
Kar et al. Meta-sim: Learning to generate synthetic datasets
US20200327418A1 (en) Using Iterative 3D-Model Fitting for Domain Adaptation of a Hand-Pose-Estimation Neural Network
CN109643383B (zh) 域分离神经网络
CN112233124B (zh) 基于对抗式学习与多模态学习的点云语义分割方法及系统
US20210148727A1 (en) Simulating diverse long-term future trajectories in road scenes
DE102021119726A1 (de) Dreidimensionale objektrekonstruktion aus einem video
US20230070008A1 (en) Generating three-dimensional object models from two-dimensional images
US11783500B2 (en) Unsupervised depth prediction neural networks
US11748937B2 (en) Sub-pixel data simulation system
US20210383225A1 (en) Self-supervised representation learning using bootstrapped latent representations
JP2020098587A (ja) ワッサースタイン距離を使用する物体形状回帰
US20230419113A1 (en) Attention-based deep reinforcement learning for autonomous agents
CN116210030A (zh) 基于半监督关键点的模型
US20230267686A1 (en) Subdividing a three-dimensional mesh utilizing a neural network
JP2022036918A (ja) 人工知能の使用による３ｄオブジェクトへのｕｖマッピング
DE102022113244A1 (de) Gemeinsame Form- und Erscheinungsbildoptimierung durch Topologieabtastung
DE102022100360A1 (de) Framework für maschinelles lernen angewandt bei einer halbüberwachten einstellung, um instanzenverfolgung in einer sequenz von bildframes durchzuführen
US11887248B2 (en) Systems and methods for reconstructing a scene in three dimensions from a two-dimensional image
CN117255998A (zh) 使用空间和时间上的注意力对来自视频序列的对象表示的无监督学习
CN116710974A (zh) 在合成数据系统和应用程序中使用域对抗学习的域适应
CN114943747A (zh) 图像分析方法及其装置、视频编辑方法及其装置、介质
CN116868239A (zh) 静态占用跟踪
Sun et al. A Metaverse text recognition model based on character-level contrastive learning
US20240028784A1 (en) Segmenting a building scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant