CN110857100A - 使用神经网络对上下文信息进行嵌入式编码的方法 - Google Patents

使用神经网络对上下文信息进行嵌入式编码的方法 Download PDF

Info

Publication number
CN110857100A
CN110857100A CN201910498016.2A CN201910498016A CN110857100A CN 110857100 A CN110857100 A CN 110857100A CN 201910498016 A CN201910498016 A CN 201910498016A CN 110857100 A CN110857100 A CN 110857100A
Authority
CN
China
Prior art keywords
autonomous vehicle
context
vector
words
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910498016.2A
Other languages
English (en)
Other versions
CN110857100B (zh
Inventor
M·J·休伯
P·帕拉尼萨梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110857100A publication Critical patent/CN110857100A/zh
Application granted granted Critical
Publication of CN110857100B publication Critical patent/CN110857100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21345—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture

Abstract

本发明提供了用于实现控制自主车辆(AV)的神经网络系统的系统、装置以及方法，包括：具有多个节点的神经网络，这些节点具有实现自主车辆操作的“上下文到向量(context2vec)”上下文嵌入；按时序嵌入上下文和行为数据的多个编码的上下文到向量自主车辆词；输入集，其包括：当前、先前以及后续的编码的上下文到向量自主车辆中的至少一个；神经网络解决方案，由至少一个计算机应用以基于当前上下文到向量自主车辆词确定各输入集的目标上下文到向量自主车辆词；由神经网络计算的输出向量，其表示输入的编码上下文到向量自主车辆词的嵌入分布独热方案；以及行为控制操作集，其用于控制自主车辆的行为。

Description

使用神经网络对上下文信息进行嵌入式编码的方法
技术领域
技术领域总体涉及自主决策的上下文建模，更具体地涉及系统、装置以及方法，这些系统、装置以及方法将上下文信息嵌入到向量空间模型中，以促进自主车辆后续进行查找、比较、假设操作、以及操作的关联控制。
背景技术
随着车辆自动化或自主功能的水平不断提高，机动车辆越来越变成一种多传感器计算系统，该多传感器计算系统被指派去执行更高级功能，诸如理解驾驶员的状态和行驶环境的状态。系统然后去做更复杂的决策，诸如需要处理解决方案，以能够在自主车辆操作期间识别、理解并适应周围环境(例如，当附近有行人时或当在养护不良的道路上行驶时缓慢行驶)。为了使得自主车辆能够理解并进行复杂决策，不仅需要接收与周围环境有关的足够信息的能力，还需要布置在交通工具内的处理构架，该处理构架使得自主车辆系统能够对输入的信息建模，并且快速理解并处理信息，以进行适当的交通工具控制决策。
过去，主要就语言学和其他域中的应用来探索使用嵌入式编码的机器处理的用途，但在自主机器人(即，自主车辆系统)领域中几乎没有应用过该技术(若有的话)。据现有推测，通过使用上下文嵌入向量空间，这一技术的应用对于驾驶场景中的自主车辆操作来说具有适用性。
因此，合乎期望的是将上下文信息嵌入到向量空间模型中，用于以下目的：为了便于以后的上下文匹配和动作选择，启用被认为是紧密联系在一起的语义上类似的上下文的映射，启用使向量保存语义和句法关系的算法解决方案，从自主车辆的系统、装置以及方法的目标上下文对象用最佳当前控制动作向前预测可能的上下文场景。此外，结合附图以及前述技术领域和背景技术，通过随后的详细描述和所附权利要求，本发明的其他期望特征和特性将变得清楚明白。
发明内容
公开了系统、装置以及方法，该系统、装置以及方法将上下文信息嵌入到向量空间模型中，以促进与自主车辆操作关联的后续查找、比较以及假设操作。
在一个实施例中，提供了一种用于控制自主车辆(AV)的计算机实施的系统。系统包括：非暂时性计算机可读，含有用于编程至少一个计算机的指令集，该至少一个计算机包括：神经网络，其具有多个节点，节点具有用以启用自主车辆的操作的“上下文到向量(context2vec)”上下文嵌入；多个上下文到向量自主车辆词，其按时序编码从而按时序嵌入从自主车辆的传感器数据获取的上下文和行为的数据，其中，该上下文和行为数据包括：自主车辆操作的至少映射、情景以及行为数据；神经网络的输入集，其包括：当前、先前以及后续的编码的上下文到向量自主车辆词中的至少一个，其均被表示在上下文到向量自主车辆词的概率集合的独热方案中，其中，该集合的至少一个上下文到向量自主车辆词被指定为开启状态，而集合的其他上下文到向量自主车辆词被指定为关闭状态；该至少一个计算机还包括：神经网络解决方案，由该至少一个计算机应用以基于当前上下文到向量自主车辆词来确定各输入集的目标上下文到向量自主车辆词；输出向量，其由神经网络计算，表示输入的编码上下文到向量自主车辆词的嵌入分布独热方案；以及行为控制操作集，用于由至少一个计算机基于上下文到向量自主车辆词控制自主车辆的行为。
在各种实施例中，系统提供：在上下文到向量自主车辆词中嵌入的映射、情景以及行为数据还包括：第一、第二、第三、第四以及第五部分，其中，第一部分包括：交叉和停止映射数据；第二部分包括：前方的净距离和碰撞时间情景数据；第三部分包括：速度目标和车道意图情景数据；第四部分包括：前方的净距离和预期的机动行为数据；以及第五部分包括：相对位置和由自主车辆的至少一个计算机启用控制动作的预期的机动行为数据。系统提供：按时序编码的多个上下文到向量自主车辆词还包括：用于上下文到向量自主车辆词的各集合的先前、当前和后续时间戳序列。系统提供：还包括：训练由上下文到向量自主车辆词的尺寸为m的神经网络的独热方案翻译的上下文到向量自主车辆词集；构成上下文到向量自主车辆词的神经网络的正/负n独热方案；以及训练具有上下文到向量自主车辆词的m+2n*m个输入节点和m个输出节点的神经网络，其中，m＝对于尺寸为m的神经网络选择的输入节点的数量。系统提供：还包括：执行由上下文到向量自主车辆词的尺寸为m的神经网络的独热方案翻译的上下文到向量自主车辆词集合；构成上下文到向量自主车辆词的神经网络的正/负n独热方案；向训练的神经网络呈现构成的上下文到向量自主车辆词的正/负n独热方案；以及用于自主车辆的控制动作的上下文到向量自主车辆词概率的输出集。系统提供：还包括：构造具有至少尺寸为m的上下文到向量自主车辆词的序列的假设，其中，m＝上下文到向量自主车辆词的神经网络的选择输入节点的尺寸或数量；基于假设向训练后的神经网络呈现上下文到向量自主车辆词的输出；检查上下文到向量自主车辆词的输出；以及基于上下文到向量自主车辆词的检查的结果决定由至少一个计算机进行的自主车辆的动作。系统提供：还包括：连续词袋模型(CBOW)和/或跳跃-语法模型，将神经网络用于分析上下文到向量自主车辆词。
在另一个实施例中，提供了一种用于实施神经网络系统的装置，神经网络系统用于训练嵌入自主车辆中的软件并用于创建用于控制自主车辆的内置式神经网络。装置包括：至少一个处理器，部署在自主车辆内的计算设备上，至少一个处理器被编程为实施应用，以基于来自在自主车辆上部署的传感器的传感器数据生成用于自主车辆的控制数据，其中，至少一个处理器具有耦合到传感器以接收传感器数据的输入；至少一个处理器具有关联的存储器，存储器用于存储用于控制自主车辆的自主车辆词的上下文到向量词的数据；至少一个处理器具有神经网络，神经网络具有多个节点，节点具有用以启用自主车辆的操作的上下文到向量上下文嵌入；至少一个处理器按时序编码多个上下文到向量自主车辆词，按时序嵌入从自主车辆的传感器数据获取的上下文和行为的数据，其中，上下文和行为数据包括：自主车辆操作的至少映射、情景以及行为数据；至少一个处理器具有神经网络的输入集，包括：当前、先前以及后续的编码的上下文到向量自主车辆词中的至少一个，其均表示在上下文到向量自主车辆词的概率集合的独热方案中，其中，该集合的至少一个上下文到向量自主车辆词被指定为开启状态，而集合的其他上下文到向量自主车辆词指定为关闭状态；该至少一个处理器执行神经网络，以基于当前上下文到向量自主车辆词确定各输入集的目标上下文到向量自主车辆词；至少一个处理器启用输出向量，输出向量由神经网络计算，表示输入的编码上下文到向量自主车辆词的嵌入分布独热方案；并且至少一个处理器基于上下文到向量自主车辆词由控制动作集控制自主车辆的行为。
在各种实施例中，装置提供：在上下文到向量自主车辆词中嵌入的映射、情景以及行为数据还包括：第一、第二、第三、第四以及第五部分，其中，第一部分包括：交叉和停止映射数据；第二部分包括：前方的净距离和碰撞时间情景数据；第三部分包括：速度目标和车道意图情景数据；第四部分包括：前方的净距离和预期的机动行为数据；以及第五部分包括：相对位置和由自主车辆的至少一个计算机启用控制动作的预期的机动行为数据。装置提供：按时序编码的多个上下文到向量自主车辆词还包括：用于上下文到向量自主车辆词的各集合的先前、当前和后续时间戳序列。装置还包括：至少一个处理器被配置为：训练由上下文到向量自主车辆词的尺寸为m神经网络的独热方案翻译的上下文到向量自主车辆词的集合；构成上下文到向量自主车辆词的神经网络的正/负n独热方案；并且训练具有上下文到向量自主车辆词的m+2n*m个输入节点和m个输出节点的神经网络，其中，m＝对于尺寸为m的神经网络选择的输入节点的数量。装置还包括：至少一个处理器被配置为：执行由上下文到向量自主车辆词的尺寸为m神经网络的独热方案翻译的上下文到向量自主车辆词的集合；构成上下文到向量自主车辆词的神经网络的正/负n独热方案；向训练的神经网络呈现构成的上下文到向量自主车辆词的正/负n独热方案；并且输出用于自主车辆的控制动作的上下文到向量自主车辆词概率集合。装置还包括：至少一个处理器被配置为：构造具有至少尺寸为m的上下文到向量自主车辆词的序列的假设，其中，m＝上下文到向量自主车辆词的神经网络的选择输入节点的尺寸或数量；基于假设向训练的神经网络呈现上下文到向量自主车辆词的输出；检查上下文到向量自主车辆词的输出；并且基于上下文到向量自主车辆词的检查的结果决定用于自主车辆的动作。装置还包括：至少一个处理器被配置为：连续词袋模型和/或跳跃-语法模型，将神经网络用于分析上下文到向量自主车辆词。
在又一个实施例中，一种用于实施神经网络系统的方法，神经网络系统用于训练嵌入自主车辆中的软件并用于创建用于控制自主车辆的内置式神经网络，所述方法包括：由布置在自主车辆中的至少一个计算机编码按时序编码的多个的上下文到向量自主车辆词，以时序嵌入从自主车辆的传感器数据导出的上下文和行为的数据，其中，上下文和行为数据至少包括：自主车辆操作的映射、情景以及行为数据；由至少一个计算机选择到神经网络的输入集，包括：当前、先前以及后续的编码的上下文到向量自主车辆词中的至少一个，各词表示在上下文到向量自主车辆词的概率集合的独热方案中，其中，集合的至少一个上下文到向量自主车辆词指定有开启状态，而集合的其他上下文到向量自主车辆词指定为关闭状态；由至少一个计算机应用神经网络解决方案，以基于当前上下文到向量自主车辆词确定输入的各集合的目标上下文到向量自主车辆词；由至少一个计算机由神经网络计算输出向量，该输出向量表示输入的编码上下文到向量自主车辆词的嵌入分布独热方案；以及由至少一个计算机控制行为控制操作集，其用于基于上下文到向量自主车辆词控制自主车辆的行为。
在各种实施例中，方法，还包括：配置在上下文到向量自主车辆词中嵌入的映射、情景以及行为数据的第一、第二、第三、第四以及第五部分，其中，第一部分包括：交叉和停止映射数据；第二部分包括：前方的净距离和碰撞时间情景数据；第三部分包括：速度目标和车道意图情景数据；第四部分包括：前方的净距离和预期的机动行为数据；以及第五部分包括：相对位置和由自主车辆的至少一个计算机启用控制动作的预期的机动行为数据。
由至少一个计算机，方法还包括：训练由上下文到向量自主车辆词的尺寸为m神经网络的独热方案翻译的上下文到向量词集合；构成上下文到向量自主车辆词的神经网络的正/负n独热方案；以及训练具有上下文到向量自主车辆词的m+2n*m个输入节点和m个输出节点的神经网络，其中，m＝对于尺寸为m神经网络选择的输入节点的数量。方法还包括：由至少一个计算机编码数据还包括：执行由上下文到向量自主车辆词的尺寸为m神经网络的独热方案翻译的上下文到向量自主车辆词集合；构成上下文到向量自主车辆词的神经网络的正/负n独热方案；向训练的神经网络呈现构成的上下文到向量自主车辆词的正/负n独热方案；以及输出用于自主车辆的控制动作的上下文到向量自主车辆词概率集合。方法还包括：构造具有至少尺寸为m的上下文到向量自主车辆词的序列的假设，其中，m＝上下文到向量词的神经网络的选择输入节点的尺寸或数量；向训练的神经网络呈现上下文到向量自主车辆词的输出；检查上下文到向量自主车辆词的输出；以及由至少一个计算机基于上下文到向量自主车辆词的检查的结果决定用于自主车辆的动作。方法还包括：由连续词袋模型和/或跳跃-语法模型使用神经网络分析上下文到向量自主车辆词。
提供本发明内容是为了以简化形式描述选择概念，这些概念将在具体实施方式中进一步描述。
本发明内容不旨在确认要求保护主题的关键或必要特征，也不旨在用来帮助确定要求保护主题的范围。
此外，结合附图以及前述背景技术，从下文的具体实施方式和所附权利要求中，本系统和方法的其他合乎期望的特征和特性将变得清楚明白。
附图说明
下文中将结合以下附图描述示例性实施例，附图中，同样的附图标记指示同样的元件，并且附图中：
图1图示了根据实施例的、描绘了包括处理器的示例车辆的图，处理器用于将上下文信息嵌入到上下文到向量词中，以便控制自主车辆；
图2图示了根据实施例的、形成自主车辆上下文到向量词的图，其中，词中的各位置编码自主车辆信息的某一方面，以便处理上下文信息并将其嵌入到上下文到向量数据结构中，以便控制自主车辆；
图3图示了根据实施例的输入和输出的图，这些输入和输出用于对准自主车辆上下文到向量词的上下文和行为，以便处理上下文到向量数据结构中的嵌入式上下文信息，以便控制自主车辆；
图4图示了根据示例性实施例的、用上下文到向量数据结构嵌入式编码上下文信息的流程图；
图5图示了根据示例性实施例的、具有用于交通工具行为和轨迹规划的自主车辆上下文到向量功能分解的交通工具的控制系统的图；以及
图6图示了根据示例性实施例的、用于学习上下文到向量自主车辆词的连续词袋模型和/或跳跃-语法模型的神经网络模型。
具体实施方式
以下具体实施方式在性质上仅是示例性的，并且不旨在限制应用和用途。此外，不存在受在之前的技术领域、背景技术、发明内容或以下具体实施方式中提出的任何明确陈述或暗示的理论限制的预期。
这里描述的主题公开了装置、系统、技术以及物品，它们用于将上下文信息嵌入到向量上下文模型或数据结构中，以促进随后的查找、比较以及假设操作，这些操作与神经网络的认知关联，神经网络用于确定上下文和行为的嵌入式编码，以基于感测的数据在自主车辆的控制中指示处理器。
如这里使用的，术语“模块”提及任意硬件、软件、固件、电子控制部件、处理逻辑、和/或处理器设备(单独或以任意组合)，它们没有限制地包括：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的、或组)和存储器、组合逻辑电路、和/或提供描述功能的其他合适部件。
本发明的实施例在这里可以鉴于功能和/或逻辑块部件以及各种处理步骤来描述。应理解，这种块部件可以由被配置为执行指定功能的任意数量的硬件、软件、和/或固件部件来实现。例如，本发明的实施例可以采用各种集成电路部件(例如，存储元件、数字信号处理元件、逻辑元件、查找表等)，这些集成电路部件可以在一个或多个微处理器或其他控制设备的控制下进行各种功能。另外，本领域技术人员将理解，本发明的实施例可以结合任意数量的系统来实践，并且这里描述的系统仅是本发明的示例性实施例。
描述的技术提供了一种方法，该方法用于生成嵌入式上下文信息的上下文到向量模型和数据结构，以促进致动神经网络的上下文到向量节点，并且用于比较和预测来自上下文到向量自主车辆词的节点的上下文映射的神经网络的上下文到向量自主车辆词的语义意义，这使得能够形成复杂的词句，以便生成自主车辆的控制操作。
简略地，神经网络是各节点执行某种计算的计算图，该计算在非线性环境条件中提供用于交通工具控制行为的适当平台。这是因为神经网络可以用于无监督和监督学习这两者，无监督和监督学习适于在自主车辆操作期间出现的场景。在本发明中，神经网络可以被认为是用于与自主车辆操作有关的各种场景的上下文到向量自主车辆词的映射，并且被认为用于由目标上下文到向量自主车辆词和在特定目标上下文到向量自主车辆词周围附近的有关上下文到向量自主车辆词的至少特定集合来控制自主车辆。
认知的上下文到向量表示可以用于认知的分布模型，并且允许上下文到向量表示捕捉语义相似性而且在大量感测的数据上训练。上下文到向量建模向用于捕捉自主车辆在操作期间的行为的平台提供周围环境。语义的上下文到向量模型的共享直觉提供一种通过将上下文到向量嵌入到向量空间或数据结构中来对上下文到向量自主车辆词(即，自主车辆上下文到向量)建模。嵌有作为向量的编码数据的示例性自主车辆上下文到向量的词表示的过程经常被称为嵌入操作。
另外，凭借使用蕴含词上下文到向量的分布的分布语义来引起上下文到向量的向量空间嵌入；可以用语义相似性编码上下文到向量。这在不需要准确术语的情况下启用指示控制，并且可以用于匹配类似的驾驶场景，在这些驾驶场景中，不同的术语能够或可以描述非常类似的场景，这些场景可能导致在行驶时由自主车辆操作的等同控制操纵。作为示例，如果各词表示的向量之间的乘数积在计算时具有更高值，则在计算的结果(即，在意义上语义类似的词之间计算的差)时，可以预测用于两个不同上下文到向量自主车辆词的术语的相似性测试具有上下文到向量自主车辆词之间的相似性。用于在自主驾驶场景中的这种上下文到向量自主车辆词的上下文语境的语义理解的神经联网建模可以使用用于计算的神经网络模型，诸如上下文到向量自主车辆词分布式表示的有条件词袋模型和/或跳跃-语法模型，来识别这种上下文到向量自主车辆词中的上下文到向量自主车辆词相似性或关联，这些词被形成为描述各种驾驶场景并用于自主车辆任务在这种驾驶场景中的控制操作。
在各种示例性实施例中，可以将向量空间数据结构或模型认为是用于从原始数据学习嵌入的计算高效的预测模型，该原始数据源于自主车辆传感器。用于上下文到向量自主车辆词的预测模型的操作可以支持各种上下文假设情景和需要由自主车辆实施的随后控制行为变化，上下文假设情景诸如“假使...将会怎样”场景(例如，“假使在大卡车后面存在不容易看到的汽车将会怎样？”)。另外，可以使用源于各驾驶场景的预编译决策指令集，该指令集转而在处理原始感测的数据时减少运行时间执行周期，因为已经编译决策指令。
在各种示例性实施例中，在由自主车辆的处理器执行学习算法以由类似上下文到向量自主车辆词的分组实现自主车辆行为规划任务的更佳执行时，上下文到向量空间中的上下文到向量自主车辆词的分布式表示可以帮助学习算法，这些词可以被有效处理为控制交通工具操作。上下文到向量空间模型是用于从原始数据感测数据学习嵌入的计算上高效的预测模型。另外，有关代数运算支持“假使...将会增么样”以及可以发生在用于更快处理的交通工具操作期间的更早描述的随后行为变化。
图1图示了描绘了可以包括处理器的示例交通工具的框图，该处理器用于将上下文信息嵌入到上下文到向量系统100中。通常，到上下文到向量模型或数据结构系统(或简称为“系统”)的嵌入式上下文信息使用各种上下文到向量自主车辆词确定用于控制自主车辆的指示项的相似性，这些词由系统中或连接到系统的基于上下文到向量神经网络的模型处理。
如图1中描绘的，交通工具10通常包括底盘12、主体14、前轮16以及后轮18。主体14设置在底盘12上，并且大致围住交通工具10的部件。主体14和底盘12可以共同形成构架。交通工具轮16-18各在主体14的各角附近旋转地耦合到底盘12。交通工具10在图示的实施例中被描绘为轿车，但应理解，还可以使用任意其他交通工具，包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、船舶、飞机等。
如图所示，交通工具10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34、以及通信系统36。在该示例中，推进系统22可以包括诸如永磁(PM)发动机的电机。变速器系统22被构造为根据可选速比向交通工具轮16和18传输来自推进系统20的动力。
制动系统26被构造为向交通工具轮16和18提供制动转矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动、诸如电机的再生制动系统、和/或其他适当的制动系统。
转向系统24影响交通工具轮16和/或18的位置。虽然为了图示性目的而被描绘为包括方向盘25，但在本发明的范围内预期的一些实施例中，转向系统24可以不包括方向盘。
传感器系统28包括一个或多个感测设备40a-40n，这些感测设备感测交通工具10的外部环境和/或内部环境的可观察状况，并且生成与其有关的传感器数据。
致动器系统30包括一个或多个致动器设备42a-42n，这些致动器设备控制一个或多个交通工具特征，诸如但不限于，推进系统20、变速器系统22、转向系统24以及制动系统26。在各种实施例中，交通工具10还可以包括图1中未图示的内部和/或外部交通工具特征，诸如各种门、行李箱、以及舱室特征，诸如空气、音乐、照明、触摸屏显示部件等。
数据存储设备32存储用于控制交通工具10的数据。数据存储设备32可以是控制器34的一部分，与控制器34分离，或是控制器34的一部分和分离系统的一部分。
控制器34包括至少一个处理器44(与系统100集成或连接到系统100)和计算机可读存储设备或介质46。处理器44可以是任意定制或可商购的处理器、中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)(例如，实施神经网络的定制专用集成电路)、现场可编程门阵列(FPGA)、与控制器34关联的若干处理器当中的辅助处理器、基于半导体的微处理器(为微芯片或芯片集的形式)、其任意组合、或通常为用于执行指令的任意设备。计算机可读存储设备或介质46例如可以包括只读存储器(ROM)、随机存取存储器(RAM)以及保活存储器(KAM)中的易失性和非易失性存储。保活存储器是可以用于在处理器44电源中断时存储各种操作变量的永久或非易失性存储器。计算机可读存储设备或介质46可以使用若干已知存储设备中的任意一个来实施，诸如PROM(可编程只读存储器)、EPROM(电可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、闪速存储器、或能够存储由控制器34用于控制交通工具10的数据的任意其他电、磁、光或组合存储设备，该数据的一些表示可执行指令。
指令可以包括一个或多个单独程序，这些程序中的每一个包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时，接收并处理来自传感器28的信号(例如，传感器数据)，执行用于自动控制交通工具10的部件的逻辑、计算、方法和/或算法，并且生成控制信号，这些控制信号发送到致动器系统30，以基于逻辑、计算、方法和/或算法自动控制交通工具10的部件。虽然图1中仅示出了一个控制器34，但交通工具10的实施例可以包括任意数量的控制器34，这些控制器通过任意合适的通信介质或通信介质的组合通信，并且协作来处理传感器信号，执行逻辑，计算、方法和/或算法，并且生成自动控制交通工具10的特征的控制信号。
作为示例，系统100可以包括嵌入控制器34内的任意数量的另外子模块，这些子模块可以组合和/或进一步分割，以类似地实施这里描述的系统和方法。另外，到系统100的输入可以从传感器系统28接收，从与交通工具10关联的其他控制模块(未示出)接收，和/或由图1的控制器34内的其他子模块(未示出)确定/建模。此外，输入还可以经受预处理，诸如子采样、降噪、正规化、特征提取、缺失数据减少等。
图2图示了根据实施例的、用于经由具有从自然语言字典(诸如词到向量(word2vec)中的)选择的上下文到向量自主车辆词，来形成上下文到向量自主车辆词的示例性实施例的图，其中，词中的各字符位置编码自主车辆信息的某一方面，以便处理到上下文到向量向量空间模型中的嵌入式上下文信息，以便控制自主车辆。即，上下文到向量向量带来启用更佳自主车辆上下文分类的额外语义特征。在205处的图中，示例性实施例，自主车辆“词”的两个字母编码地图相关信息。第一字符编码相交是否相关，并且如果为真，则字母可以是T，或者如果为假，则为F。第二字符编码停止是否相关，并且也被编码为T或F。在210处，被构造的自主车辆词的下两个字母编码与自主车辆周围的“情景”有关的上下文。“前面的净距离”指示主交通工具离其车道中在其前面的交通工具多么近，并且编码三个级别指定中的一个：“C”用于“靠近”情景，“M”用于中等，并且“F”用于遥远。词的第二“情景”字母编码“碰撞时间”，该时间再次用三个级别的指定来指示碰撞与前车是多么迫近的碰撞：“S”用于“不久”发生的碰撞，“M”用于在中等时间中发生的碰撞，并且“F”用于在“遥远”或久远时间中发生的碰撞。在215处，创建的自主车辆词的更多字符编码“行为”，并且包括第一字母中的目标速度和进行到相邻车道中的变道的意图。对于速度目标字符，提出行为的属性或动作的三级阈值或标记，并且包括：用于目标速度的“S”缓慢、“M”中等以及“F”快速指定。对于变道意图字母，自主车辆进行的“L”左、“C”当前以及“R”右变道或维持编码变道意图。在220处，被构造的自主车辆词中的字母编码与环境中的2个(可以为不同数量)其他对象有关的信息。例如，在220处，一个字符编码“情景对象1”的“相对位置”，其中，字符“A”编码该另一个对象在主交通工具之前，“B”为之后，或者“C”为与交通工具相交。在220中，第二字符编码用于对象1的预测期望操纵，命名法的“S”用于另一个对象直行的预测，“L”用于它将左转的预测，并且“R”用于它将右转的预测。在另外的225中，两个字符类似地编码与“情景对象2”有关的信息，被定义为“相对位置”处的对象。当前上下文词或上下文到向量自主车辆词可以通过聚集特定自主车辆字母中的每一个来定义，例如，在这种情况下，在230处，该词被定义为地图位置、情景、行为以及对象1和2的情景的特定属性的“TFCFMCASL”。即，“TFCFMCASCL”是自主车辆字母200的各字符的拼接。在235处，等于从t-5到t-1到现在的特定时间的上下文的时间序列的“句子”(在词到向量的自然语言域用语中)。在图2中的示例中，各时步指示发生的上下文的动态变化。例如，在t-3时，相交变得相关，在t-2时，“我们靠近前面的交通工具”，在t-1时，“前面的交通工具左转，而不是直行”，并且最后在“现在”，“与前面交通工具碰撞的时间变少”。由自主车辆词的全部单独字母的可能值的组合确定自主车辆词的总数(“M”(类同于从词到向量的自然语言域中的自然语言字典选择的词的数量))。
图3图示了根据实施例的输入和输出的图，这些输入和输出用于对准自主车辆词的上下文和行为，以便处理向量空间模型中的嵌入式上下文信息，以便控制自主车辆。在图3中，“上下文到行为(context2behavoir)”是自主车辆上下文词集合，其中，上下文等于包围特定(通常为当前)自主车辆词的自主车辆词的+/-n“独热”集合的集合。输入/输出图300尝试优化从自主车辆词“0”到自主车辆词(M)的自主车辆词的自主车辆行驶上下文的序列。上下文窗口是具有在目标自主车辆词之前和(在将来)在目标自主车辆词之前的自主车辆词的数量的尺寸“N”。在示例性实施例中，跳跃-语法模型的神经网络模型可以用于由自主车辆行驶上下文的自主车辆词的集合描述的特定序列：AV word0(w0),AV word1(w1)...AVwordn(wn)，对于该序列，到指令集合的相似性匹配，以将自主车辆控制到由自主车辆词描述的特定周围上下文。通过优化以下表达式训练基于神经网络的跳跃-语法模型：
Figure BDA0002089271400000131
其中，n是训练上下文窗口的尺寸(即，N＝5)。
示例性跳跃-语法模型使用用于上述表达式中的p(wt+1|wt)项的以下定义：
Figure BDA0002089271400000132
其中,vw和v′w分别是AV wordn(wn)的输入和输出向量表示,并且”W”是词汇中的词的总数.在该模型的高效实施的情况下,可以将分层柔性最大值传输函数用作概率的近似,代替上述柔性最大值传输函数概率。
在示例性实施例中,在305处处理“FFCFMCASCL”的自主车辆词，作为t-2时的上下文自主车辆词，在t-1时看到同一自主车辆词，并且在310处将t＝0时的目标上下文和行为交通工具词确定为“TCFMCASCL”，并且分别在315处将t+1和t+2时的预计自主车辆词呈现为“TFMFMCASCL”，并且在317处呈现为“TFMFMCARCL”。在320处经由隐藏层(即，主动节点层)将这些输入处理为输出“TFMSMCASCL”。嵌入指示在处理接触时间(TTC)和其他上下文要求时减速(在输出自主车辆词的当前输入上下文中的速度目标字符中从中等M到缓慢S)。
图4图示了根据示例性实施例的、用上下文到向量空间建模来嵌入式编码上下文信息的流程图。自主车辆词(基于地图数据、认知以及行为)指非主交通工具对象或通过感测自主车辆的传感器的操作且由确定行为分量的示例行为控制模块从其获得或创建对象或环境的印象的环境。在各种示例性实施例中，可以将独热编码用于自主车辆词的建模表示，以表示处于输入上下文到向量神经网络的第一级的数据(即，输入)。
向量模块的流程图400包括上下文到向量建模的三个不同用途：训练470用途、执行473用途、以及假设476用途。训练470用途在401处初始包括选择405训练集的数据的训练集。其后，流程进行为从训练集选择下一当前自主车辆词409。换言之，选择405的训练集和从训练集选择下一当前自主车辆词(直到完全训练为止)将上下文翻译成自主车辆词并以尺寸“M”的“独热”表示形式呈献给神经网络，其中，“M”个输入中的仅1个是1，剩余为零。在412处由具有训练集(即，由“+/-n”个自主车辆词组成)中的“n”个之前和“n”个接着的自主车辆词组成训练集。接着，在415处，执行神经网络(NN)的上下文到向量自主车辆词的第一训练(可以对于更多训练样本重复该第一训练)。然后，在418处，针对所有情况(即，上下文到向量自主车辆词的上下文的所有情况)或是否已经训练训练集中的所有情况(即，已经训练所有当前自主车辆词)进行确定，如果不，则流程重复训练周期并返回到在409处从训练集选择下一当前自主车辆词。当在418处确定已经训练选择的训练集之后，流程进行到从测试数据422在421处针对测试集测试训练的神经网络。测试数据根据需要可以是自主车辆词的整个集合或具有测试神经网络以确保准确结果的足够数据的、自主车辆词的其他数据测试集的划分样本。在完成测试训练的神经网络“NN”之后的训练结果具有“m+2n*m”个输入节点(各自主车辆词为m长，并且存在“n”个之前自主车辆词和“n”个将来的自主车辆词)、一个隐藏层以及m个输出节点。重复针对训练集的测试，直到“x”完成训练样本或测试误差小于目标误差。
接着，执行473用途包括在425处接收地图和认知数据(即，自主车辆词数据)，以计算用于情景的适当行为428。然后，在431处构造当前自主车辆词，以在434处构成“n”个之前自主车辆词和“n”个预计的自主车辆词；将自主车辆词翻译到尺寸“m”的“独热”空间中，该空间由“n”个之前上下文样本和“n”个将来期望的上下文样本构成。接着，在437处向训练的神经网络呈现自主车辆词的独热空间，并且在440处生成输出向量概率。之后，在443处，启用决策模块，该模块由输出处的结果概率分布通知(即，由向量权重通知)。
最终用途，假设476用途，蕴含在446处接收地图和认知数据(即，自主车辆词数据)，以计算用于当前情景的适当行为449。然后在452处，构造当前自主车辆词452，以便在455处假设将来自主车辆词。即，在458处用“n”个之前自主车辆词和“n”个假设的自主车辆词构成当前自主车辆词，诸如构造尺寸m+2*m*n的假设自主车辆词序列。接着，在461处，向训练的神经网络(即，由训练470得到的训练的神经网络)呈现构造的假设自主车辆词序列。之后，在464处检查预测的输出向量，并且最后，在467处，用公式表示由假设通知(即，由假设给出的向量权重通知)的决策模块。
图5图示了根据性实施例的、具有用于交通工具行为和轨迹规划的自主车辆功能分解的交通工具的控制系统的图。在图5中，在地图规划的路径规划模块510的第一部分中，地图规划发生，并且蕴含接收道路级计划高分辨率地图细节的输入，然后由各种算法解决方案用公式表示成详述的车道级路径计划。在情景感知模块515的第二部分中，其中，生成情景感知的信息，并且蕴含接收地图细节的认知数据的输入并由各种算法解决方案用公式表示其他对象细节和风险评估。来自模块501、515的两个输出发送给行为规划模块525，该行为规划模块用于生成用于控制交通工具(即，自主车辆)的操纵方向和运动约束。从操纵方向和运动约束的数据，可以由轨迹规划模块535用公式表示轨迹规划。
图6图示了根据示例性实施例的、通过将连续词袋模型和/或跳跃-语法模型用于学习词嵌入处理的神经网络。如更早描述的，上下文到向量是用于学习词嵌入的特别计算高效的预测模型，并且可以将连续词袋模型和/或跳跃-语法模型用于处理上下文到向量自主车辆词来处理神经网络635。连续词袋模型从源(输入)上下文到向量自主车辆词610(“汽车从车行道在前面停下”)预测目标上下文到向量词630(例如，前面附近的障碍物)，而跳跃-语法进行颠倒，并且在660处经由函数650从目标(输出)上下文到向量自主车辆词640预测源上下文到向量自主车辆词。在跳跃-语法模型中，在大语料库(即，40k上下文到向量自主车辆词)上训练神经网络635，其中，训练目的是学习是预测附近自主车辆上下文到向量自主车辆词的良好接近的上下文到向量表示。跳跃-语法模型通过优化以下表达式来训练，其中，vw和v′w分别是上下文到向量w的输入和输出向量表示：
Figure BDA0002089271400000161
连续词袋模型以与跳跃-语法模型相同的方式操作，但方向颠倒。在另一个上下文到向量中，在630处由二元逻辑分类器w(t)训练连续词袋模型中的自主车辆词，其中，给定在620处求和(或其他函数计算)的610处的上下文到向量自主车辆词(wt-2)的窗口。这启用在下一上下文到向量自主车辆词正确时确定上下文到向量自主车辆词“正确的”更高概率和确定上下文到向量自主车辆词是否“错误”的更高概率。连续词袋模型消除大量分布数据(通过将整个上下文当作数据的一个集合)。对于大部分，这结果是对于更小数据集有用。然而，跳跃-语法将各上下文-目标对当作新数据集，并且这趋向于数据集越大，结果越佳。
给定自主车辆行驶上下文的序列：context2vec AV word0(w0),AV word1(w1)...AV wordn(wn)；模型尝试优化：
Figure BDA0002089271400000171
其中，n是训练上下文窗口的尺寸(即，n＝5)。
在上述跳跃-语法模型中，使用以下内容：
Figure BDA0002089271400000172
其中，vw和v′w分别是w的输入和输出向量表示。W是词汇中的词的总数。注意，对于高效实施方案
分层柔性最大值传输函数可以用于近似上述柔性最大值传输函数概率。结合更高级训练过程：存在输入层：其中，使用独热(V中1)编码“n”个之前上下文到向量自主车辆词，并且其中，V是训练集中的词汇的总尺寸。隐藏层是神经网络的中间层，并且输入层预计是神经网络的构造中的内部隐藏层。输出是如上面讨论的柔性最大值传输函数，并且应用于从隐藏层获得的分对数。
这里描述的是用于输入和输出的技术，这些输入和输出用于对准自主车辆词的上下文和行为，以便处理上下文到向量模型中的嵌入式上下文信息，以便控制自主车辆。装置、系统、技术以及物品提供用于特定周围环境内的交通工具的上下文和行为的语义理解的神经网络系统。
在该文献中，诸如第一和第二等的相关术语仅可以用于区分一个实体或动作与另一个实体或动作，而不是必须需要或暗示这种实体或动作之间的任何实际的这种关系或顺序。诸如“第一”、“第二”、“第三”等的数字序数简单地表示多个中的不同单项，并且不暗示任意顺序，除非由权利要求语言特别限定。权利要求中的任意一个的文本的顺序不暗示必须根据这种顺序按时间或逻辑顺序执行过程步骤，除非由权利要求的语言特别限定。过程步骤可以在不偏离本发明的范围的情况下按任意顺序互换，只要这种互换不与权利要求语言冲突且不是逻辑上无意义的即可。
虽然在前述的具体实施方式中提出了至少一个示例性实施例，但应理解，大量的变更存在。还应理解，示例性实施例仅是示例，并且不旨在以任何方式限制本发明的范围、应用性或构造。相反，前述具体实施方式将向本领域技术人员提供用于实施示例性实施例的方便道路地图。应理解，可以在不偏离如在所附权利要求及其法定等同物中阐述的本发明的范围的情况下，在元件的功能和结构方面进行各种改变。

Claims (10)

1.一种用于控制自主车辆(AV)的计算机实施的系统，所述系统包括：
非暂时性计算机可读，包含用于对至少一个计算机进行编程的指令集，所述至少一个计算机包括：
神经网络，具有多个节点，所述节点具有实现所述自主车辆的操作的“上下文到向量(context2vec)”上下文嵌入；
多个上下文到向量自主车辆词，所述多个上下文到向量自主车辆词按时序编码以按时序嵌入从所述自主车辆的传感器数据获取的上下文和行为的数据，其中，所述上下文和行为数据包括：所述自主车辆操作的至少映射、情景以及行为数据；
神经网络的输入集，包括：当前编码的上下文到向量自主车辆词、先前编码的上下文到向量自主车辆词以及后续编码的上下文到向量自主词中的至少一个，每个所述词均表示在上下文到向量自主车辆词概率集合的独热方案中，其中，所述集合的至少一个上下文到向量自主车辆词被指定为开启状态，而所述集合的其他上下文到向量自主车辆词被指定为关闭状态；
神经网络解决方案，由所述至少一个计算机应用以基于所述当前上下文到向量自主车辆词来确定每个所述输入的各集合的目标上下文到向量自主车辆词；
由所述神经网络计算的输出向量，所述输出向量表示所述输入的编码上下文到向量自主车辆词的所述嵌入分布独热方案；以及
行为控制操作集，用于由所述至少一个计算机基于所述上下文到向量自主车辆词控制所述自主车辆的行为。
2.根据权利要求1所述的系统，嵌入在所述上下文到向量自主车辆词中的所述映射、情景以及行为数据进一步包括：
第一、第二、第三、第四以及第五部分，其中，所述第一部分包括：交叉和停止映射数据；所述第二部分包括：前方净距离和碰撞时间情景数据；所述第三部分包括：速度目标和车道意图情景数据；所述第四部分包括：前方净距离和预期机动行为数据；以及所述第五部分包括：相对位置和预期机动行为数据，以使得所述第一、第二、第三、第四、以及第五部分能够由所述自主车辆的所述至少一个计算机进行控制动作。
3.根据权利要求1所述的系统，所述按时序序列编码的所述多个上下文到向量自主车辆词进一步包括：
用于每个上下文到向量自主车辆词集合的先前、当前和后续时间戳序列。
4.根据权利要求1所述的系统，进一步还包括：
训练上下文到向量自主车辆词集合，所述上下文到向量自主车辆词由上下文到向量自主车辆词的尺寸为m的神经网络的所述独热方案翻译；
构成上下文到向量自主车辆词的神经网络的正/负n个独热方案；以及
训练具有m+2n*m个输入节点和m个输出节点的上下文到向量自主车辆词的所述神经网络，其中，m＝为所述m个神经网络尺寸选择的输入节点的数量。
5.根据权利要求1所述的系统，进一步包括：
执行由上下文到向量自主车辆词的尺寸为m的神经网络的所述独热方案翻译的上下文到向量自主车辆词集合；
构成上下文到向量自主车辆词的神经网络的正/负n个独热方案；
向训练后的神经网络呈现所述构成的上下文到向量自主车辆词的正/负n个独热方案；以及
用于所述自主车辆的控制动作的上下文到向量自主车辆词概率的输出集。
6.根据权利要求1所述的系统，进一步包括：
构建至少尺寸为m的上下文到向量自主车辆词的序列的假设，其中，m＝上下文到向量自主车辆词的所述神经网络中选择的输入节点的尺寸或数量；
基于所述假设向训练的神经网络呈现所述上下文到向量自主车辆词的输出；
检查所述上下文到向量自主车辆词的所述输出；
以及
基于所述上下文到向量自主车辆词的所述检查的结果通过所述至少一个计算机决定对所述自主车辆的动作。
7.根据权利要求1所述的系统，进一步包括：
连续词袋模型(CBOW)和/或跳跃-语法模型，将神经网络用于分析所述上下文到向量自主车辆词。
8.一种用于实现神经网络系统的装置，所述神经网络系统用于训练嵌入在自主车辆(AV)中的软件并用于创建用于控制所述自主车辆的内置式神经网络，所述装置包括：
配置在所述自主车辆内的计算设备上的至少一个处理器，所述至少一个处理器被编程为实现基于来自设置在所述自主车辆上的传感器的传感器数据生成用于所述自主车辆的控制数据，其中，所述至少一个处理器具有耦合到所述传感器以接收所述传感器数据的输入；
所述至少一个处理器具有关联的存储器，所述存储器用于存储用于控制所述自主车辆的自主车辆词的上下文到向量词的数据；
所述至少一个处理器具有神经网络，所述神经网络具有多个节点，所述节点具有上下文到向量上下文嵌入以实现自主车辆的操作；
所述至少一个处理器按时序对多个上下文到向量自主车辆词进行编码，按时序嵌入从所述自主车辆的传感器数据获取的上下文和行为的数据，其中，所述上下文和行为数据包括：所述自主车辆操作的至少映射、情景以及行为数据；
所述至少一个处理器具有到所述神经网络的输入集，包括：当前、先前以及后续的编码的上下文到向量自主车辆词中的至少一个，每个所述词均表示在上下文到向量自主车辆词的概率集合的独热方案中，其中，所述集合的至少一个上下文到向量自主车辆词被指定为开启状态，而所述集合的其他上下文到向量自主车辆词被指定为关闭状态；
所述至少一个处理器执行神经网络，以基于所述当前上下文到向量自主车辆词确定所述输入的各集合的目标上下文到向量自主车辆词；
所述至少一个处理器使能由神经网络计算输出向量，所述输出向量表示所述输入的编码上下文到向量自主车辆词的所述嵌入分布独热方案；并且
所述至少一个处理器基于所述上下文到向量自主车辆词通过控制动作集来控制所述自主车辆的行为。
9.根据权利要求8所述的装置，嵌入在所述上下文到向量自主车辆词中的所述映射、情景以及行为数据进一步包括：
第一、第二、第三、第四以及第五部分，其中，所述第一部分包括：交叉和停止映射数据；所述第二部分包括：前方净距离和碰撞时间情景数据；所述第三部分包括：速度目标和车道意图情景数据；所述第四部分包括：前方净距离和预期机动行为数据；以及所述第五部分包括：相对位置和预期的机动行为数据，以使得所述第一、第二、第三、第四和第五部分通过所述自主车辆的所述至少一个计算机进行控制动作。
10.根据权利要求8所述的装置，进一步包括：
所述至少一个处理器，被配置为：
训练上下文到向量自主车辆词集合，所述上下文到向量自主车辆词由上下文到向量自主车辆词的尺寸为m的神经网络的所述独热方案翻译；
构成上下文到向量自主车辆词的神经网络的正/负n个独热方案；并且
训练所述神经网络，所述神经网络具有上下文到向量自主车辆词的m+2n*m个输入节点和m个输出节点，其中，m＝为所述m尺寸的神经网络选择的输入节点的数量。
CN201910498016.2A 2018-08-09 2019-06-10 使用神经网络对上下文信息进行嵌入式编码的方法 Active CN110857100B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/059403 2018-08-09
US16/059,403 US10678252B2 (en) 2018-08-09 2018-08-09 Systems, apparatus, and methods for embedded encodings of contextual information using a neural network with vector space modeling

Publications (2)

Publication Number Publication Date
CN110857100A true CN110857100A (zh) 2020-03-03
CN110857100B CN110857100B (zh) 2023-03-14

Family

ID=69185956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498016.2A Active CN110857100B (zh) 2018-08-09 2019-06-10 使用神经网络对上下文信息进行嵌入式编码的方法

Country Status (3)

Country Link
US (1) US10678252B2 (zh)
CN (1) CN110857100B (zh)
DE (1) DE102019114577A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428484A (zh) * 2020-04-14 2020-07-17 广州云从鼎望科技有限公司 一种信息管理方法、系统、设备和介质
CN112109727A (zh) * 2020-09-08 2020-12-22 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111386550A (zh) * 2017-11-15 2020-07-07 谷歌有限责任公司 图像深度和自我运动预测神经网络的无监督学习
US11325606B2 (en) * 2019-01-02 2022-05-10 Qualcomm Incorporated Methods and systems for establishing cooperative driving engagements with vehicles having varying levels of autonomy
US20200241542A1 (en) * 2019-01-25 2020-07-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle Equipped with Accelerated Actor-Critic Reinforcement Learning and Method for Accelerating Actor-Critic Reinforcement Learning
US11429352B2 (en) 2020-07-01 2022-08-30 International Business Machines Corporation Building pre-trained contextual embeddings for programming languages using specialized vocabulary
JP7469167B2 (ja) * 2020-07-07 2024-04-16 本田技研工業株式会社 制御装置及び制御方法並びに車両
CN111966770A (zh) * 2020-07-21 2020-11-20 中国地质大学（武汉） 一种基于地理语义词嵌入的城市街道功能识别方法和系统
DE102021005084A1 (de) 2021-10-12 2022-01-20 Daimler Ag Identifizierung von Objektattributen und Objektbeziehungen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178620A1 (en) * 2011-07-07 2015-06-25 Toyota Motor Europe Nv/Sa Artificial memory system and method for use with a computational machine for interacting with dynamic behaviours
WO2017192522A1 (en) * 2016-05-06 2017-11-09 Ebay Inc. Using meta-information in neural machine translation
CN107844469A (zh) * 2017-10-26 2018-03-27 北京大学 基于词向量查询模型的文本简化方法
CN107944375A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN108205830A (zh) * 2016-12-20 2018-06-26 百度（美国）有限责任公司 识别对于无人驾驶车辆的个人驾驶偏好的方法和系统
CN108248608A (zh) * 2017-12-28 2018-07-06 北京百度网讯科技有限公司 用于评估驾驶系统的舒适度的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878276B2 (en) * 2018-06-05 2020-12-29 Hrl Laboratories, Llc Method and system for detecting change of context in video streams
US10442444B1 (en) * 2018-08-06 2019-10-15 Denso International America, Inc. Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178620A1 (en) * 2011-07-07 2015-06-25 Toyota Motor Europe Nv/Sa Artificial memory system and method for use with a computational machine for interacting with dynamic behaviours
WO2017192522A1 (en) * 2016-05-06 2017-11-09 Ebay Inc. Using meta-information in neural machine translation
CN108205830A (zh) * 2016-12-20 2018-06-26 百度（美国）有限责任公司 识别对于无人驾驶车辆的个人驾驶偏好的方法和系统
CN107844469A (zh) * 2017-10-26 2018-03-27 北京大学 基于词向量查询模型的文本简化方法
CN107944375A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN108248608A (zh) * 2017-12-28 2018-07-06 北京百度网讯科技有限公司 用于评估驾驶系统的舒适度的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428484A (zh) * 2020-04-14 2020-07-17 广州云从鼎望科技有限公司 一种信息管理方法、系统、设备和介质
CN112109727A (zh) * 2020-09-08 2020-12-22 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法
CN112109727B (zh) * 2020-09-08 2021-09-03 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法

Also Published As

Publication number Publication date
US20200050207A1 (en) 2020-02-13
DE102019114577A1 (de) 2020-02-13
CN110857100B (zh) 2023-03-14
US10678252B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
CN110857100B (zh) 使用神经网络对上下文信息进行嵌入式编码的方法
US11480972B2 (en) Hybrid reinforcement learning for autonomous driving
CN107229973B (zh) 一种用于车辆自动驾驶的策略网络模型的生成方法及装置
US11462041B2 (en) Pedestrians with objects
US11789155B2 (en) Pedestrian object detection training
US20230028035A1 (en) Perpendicular cut-in training
WO2020077233A1 (en) Recursive multi-fidelity behavior prediction
CN111220167A (zh) 应用地图以改善目标跟踪、车道分配和分类的系统和方法
US11934957B2 (en) Methods, systems, and apparatuses for user-understandable explainable learning models
CN111062405A (zh) 训练图像识别模型的方法和装置以及图像识别方法和装置
US20220227391A1 (en) Systems and methods for scenario dependent trajectory scoring
US11100372B2 (en) Training deep neural networks with synthetic images
CN112883991A (zh) 对象分类方法、对象分类电路、机动车辆
CN111830962A (zh) 强化学习代理控制器的解释数据
JP7350188B2 (ja) 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム
Zhang et al. Dynamic driving intention recognition of vehicles with different driving styles of surrounding vehicles
Dubey et al. Autonomous braking and throttle system: A deep reinforcement learning approach for naturalistic driving
US20230162039A1 (en) Selective dropout of features for adversarial robustness of neural network
US11960292B2 (en) Method and system for developing autonomous vehicle training simulations
US11620475B2 (en) Domain translation network for performing image translation
US20220188621A1 (en) Generative domain adaptation in a neural network
Chaulwar et al. Sampling Algorithms Combination with Machine Learning for Effcient Safe Trajectory Planning
CN115843346A (zh) 带有对象的行人
US20230316728A1 (en) Robust neural network learning system
US20230030474A1 (en) Method and system for developing autonomous vehicle training simulations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant