CN109964188B - 控制车辆的方法、系统和存储介质 - Google Patents

控制车辆的方法、系统和存储介质 Download PDF

Info

Publication number
CN109964188B
CN109964188B CN201780066782.0A CN201780066782A CN109964188B CN 109964188 B CN109964188 B CN 109964188B CN 201780066782 A CN201780066782 A CN 201780066782A CN 109964188 B CN109964188 B CN 109964188B
Authority
CN
China
Prior art keywords
vehicle
motion
neural network
time series
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780066782.0A
Other languages
English (en)
Other versions
CN109964188A (zh
Inventor
K·贝恩拓普
刘洺堉
A·维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109964188A publication Critical patent/CN109964188A/zh
Application granted granted Critical
Publication of CN109964188B publication Critical patent/CN109964188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

一种方法和系统生成表示车辆附近的环境相对于该车辆的运动的变化的时间系列信号，并且将该时间系列信号提交给神经网络以生成作为时间的函数的参考轨迹，该参考轨迹满足关于该车辆的位置的时间约束和空间约束。训练该神经网络以将时间系列信号变换成该车辆的参考轨迹。确定跟踪该参考轨迹同时满足关于该车辆的运动的约束的运动轨迹，并且控制该车辆的运动以遵循该运动轨迹。

Description

控制车辆的方法、系统和存储介质
技术领域
本发明总体上涉及控制车辆，并且更具体地，涉及利用神经网络控制自主或半自主驾驶车辆。
背景技术
由车辆(自主驾驶车辆或者执行自主驾驶模式的车辆)采用的几种控制系统预测车辆的将来的安全运动或路径，两者都是为了避开如其它车辆或行人的障碍物，但也优化与车辆操作相关联的一些标准。目标状态可以是固定位置、移动位置、速度矢量、区域或其组合。周围的环境(如道路边缘、行人及其它车辆)通过车辆的传感器感测和/或至少部分地根据先验给定信息获知。
用于理解车辆周围的环境的一个重要信息来源是由车载感知传感器(如摄像头、立体摄像头、激光雷达(LIDAR)、超声传感器及雷达)感测的信息。可以直接从车载感知传感器的测量结果来检测和识别车辆周围的对象，举例来说，如U.S.9195904 中所述的。所识别的对象可以被用于确定车辆的环境的动态地图。这种动态地图可以用于预测车辆的运动。然而，检测和/或识别对象以及构建动态地图的方法花费时间和计算资源。
因此，希望简化确定和控制车辆运动的过程。
发明内容
一些实施方式的目的是，提供一种利用神经网络来控制车辆的运动的系统和方法。这些实施方式基于这样的认识，即，所述神经网络可以预先(例如，离线)训练，并且重新用于在线控制车辆的运动。
一些实施方式的另一目的是提供这样一种神经网络，即，其可以减少车辆运动控制应用中的对象检测和识别的必要性。例如，一个实施方式的目的是，提供一种不使用动态地图来促进车辆的运动控制的神经网络。
一些实施方式基于这样的认识，即，车辆可以经历无限多的环境。为此，使用所有可能的环境来训练该神经网络是不可能的或者至少是不切实际的。例如，考虑不同国家在驾驶之间的差异；不同车辆有不同的颜色，存在关于车道宽度的不同规定、不同数量的车道，并且当地的驾驶规定(如限速、不同的车道标记以及避让规则)组成无数环境。然而，独立于环境，在一个国家(比方说，瑞典)开车的经历为还能够例如在美国开车提供坚实的基础。
一些实施方式基于这样的认识，即，尽管存在可以围绕驾驶车辆的无限数量的环境，从而导致要处理大量的信息，但仅仅有限的(即，有限或接近有限)的来自这些环境的信息的子集被用于做出驾驶决定。例如，人类的五种感官所感受的关于世界的许多部分对于做出驾驶决定是冗余的。例如，一个人驾驶的车辆前方的汽车是黑色、黄色还是白色并不重要：重要的是它是一辆有速度的汽车。类似地，道路一侧树木的树叶是绿色还是黄色并不重要。事实上，由于树木位于道路一侧而不是在道路上，因此只要可以避免道路偏离，树木对于做出明智决定采取哪条路径来说无关紧要。
为此，一些实施方式基于这样的认识，即，仅在环境中感测的信息的子集与做出驾驶决定相关。此外，在不同的环境中，可以考虑类似类型的信息，如指示在车辆附近行驶的汽车的位置和速度的信息。这样的信息可以被用于训练神经网络，这可以简化设计神经网络的训练，并有助于避免利用动态地图来促进对车辆的运动控制。例如，一个实施方式将与做出驾驶决定相关的信息处理为对车辆运动的约束。
除了不同环境的数量，还可以存在可能出现并且自主汽车需要对此做出反应的无数种情况，然而，尽管可能出现各种不同类型的情况，但仅有有限数量的动作被采取来处理该特定情况。作为示例，考虑本车辆在双车道上行驶时前方车辆突然减速的情况。无论前方驾驶员刹车的方式如何，存在有限数量的不同动作来避免碰撞，例如，比前方车辆更快地减速或者改变车道(若可能的话)。
为此，一些实施方式基于这样的认识，即，可以将神经网络设计成，将指示环境的时间系列信号变换为车辆的参考轨迹，从而指定车辆运动的目标。例如，在一个实施方式中，神经网络包括同时训练的编码子网络和解码子网络。训练编码子网络以将时间系列信号变换成指示对车辆运动的约束的信息，这类似于选择与做出驾驶决定相关的信息。训练解码子网络以根据指示针对车辆运动的约束的信息来生成参考轨迹。对该子网络进行训练，以做出有关按给定时间在特定情形下采取的动作或者具有的目标的决定。按这种方式，多个潜在参考轨迹的最终结果和为确定参考轨迹所需的信息由神经网络考虑。
然而，即使自主驾驶车辆在任何给定的时间可以采取的动作或目标的数量有限，也可以选择无数个控制命令来到达希望目标。例如，在决定改变车道时，转向指令可以在一组连续的不同转向力矩中选择。而且，油门和制动命令都可以在全加速和全减速之间的连续设定中选择，并且为了准确了解在特定场景和特定环境中的特定时刻输出什么命令，可能要求无限的计算资源。一些实施方式基于这样的认识，即，尽管可以在控制动作、期望的将来轨迹，或将来路径的大量组合当中选择，但无论控制动作的确切值如何，车辆应遵循的都可以保持不变。
为此，一些实施方式基于这样的认识，即，在确定参考轨迹之后，运动轨迹(例如，指定控制命令)可以稍后作为后处理步骤来确定。按这种方式，在神经网络之外处理用于遵循参考轨迹的控制动作的大量不同组合。而且，神经网络与不同类型的车辆的特定动力学分离，并且相同的神经网络可以由不同类型和型号的车辆重复使用。
因此，一个实施方式公开了一种控制车辆的方法。所述方法包括：利用至少一个传感器生成指示所述车辆附近的环境相对于所述车辆的运动的变化的时间系列信号；从存储器选择被训练以将时间系列信号变换成所述车辆的参考轨迹的神经网络；将所述时间系列信号提交给所述神经网络，以生成作为时间的函数的参考轨迹，该参考轨迹满足关于所述车辆的位置的时间约束和空间约束；确定跟踪所述参考轨迹同时满足关于所述车辆的运动的约束的运动轨迹；以及控制所述车辆的运动以遵循所述运动轨迹。所述方法的至少一些步骤通过在工作上能够连接至所述存储器和所述传感器的处理器来执行。
另一实施方式公开了一种控制车辆的系统。所述系统包括：至少一个传感器，该至少一个传感器用于感测所述车辆附近的环境，以生成指示所述环境相对于所述车辆的运动的变化的时间系列信号；存储器，该存储器存储被训练以将时间系列信号变换成所述车辆的参考轨迹的神经网络；至少一个处理器，该至少一个处理器被配置用于将所述时间系列信号提交给从所述存储器中选择的所述神经网络，以生成作为时间的函数的参考轨迹，该参考轨迹满足关于所述车辆的位置的时间约束和空间约束，并且该至少一个处理器确定跟踪所述参考轨迹同时满足有关所述车辆的所述运动的约束的运动轨迹；以及控制器，该控制器控制所述车辆的运动以遵循所述运动轨迹。
又一实施方式公开了提供了一种包含有可通过处理器执行的程序的非暂时性计算机可读存储介质，该程序用于执行方法。所述方法包括：生成指示所述车辆附近的环境相对于所述车辆的运动的变化的时间系列信号；选择被训练以将时间系列信号变换成所述车辆的参考轨迹的神经网络；将所述时间系列信号提交给所述神经网络，以生成作为时间的函数的参考轨迹，该参考轨迹满足关于所述车辆的位置的时间约束和空间约束；确定跟踪所述参考轨迹同时满足关于所述车辆的所述运动的约束的运动轨迹；以及控制所述车辆的所述运动以遵循所述运动轨迹。
附图说明
图1A是驾驶车辆的示例性环境。
图1B是驾驶车辆的示例性环境。
图1C是减少车辆运动控制中的计算的神经网络的一个实施方式的示意图。
图1D是根据一些实施方式的用于控制车辆的系统的框图。
图1E是根据一些实施方式的用于控制车辆的运动的方法的流程图。
图1F是根据一个实施方式的路径规划系统的总体结构。
图2A是在具有道路边界的道路上行驶的车辆的示意图。
图2B是例示一些实施方式背后的直觉的示意图。
图3是根据一些实施方式的路径规划系统与车辆控制器之间的交互作用的示意图。
图4A是由一些实施方式采用的可能传感器配置和从传感器到参考轨迹的映射的示例性示意图。
图4B是根据一些实施方式的由车辆的一串传感器的测量结果构建的时间系列信号的示例。
图4C是根据一些实施方式的半自主驾驶车辆的相关内部的示例性场景。
图4D是根据一些实施方式的用于将传感器数据过滤并组织成时间系列信号的方法的示例性框图。
图5是在训练神经网络时考虑的、关于车辆的运动的示例规范。
图6是由一些实施方式使用的深度神经网络的框图。
图7是根据一些实施方式的训练神经网络的示意图。
具体实施方式
一些实施方式的目的是，提供一种利用神经网络来控制车辆的运动的系统和方法。这些实施方式基于这样的认识，即，所述神经网络可以预先(例如，离线)训练，并且重新用于在线控制所述车辆的运动。
一些实施方式的另一目的是提供这样一种神经网络，即，其可以减少车辆运动控制应用中的对象检测和识别的必要性。例如，一个实施方式的目的是提供一种不使用动态地图来促进车辆的运动控制的神经网络。
如本文所使用的，车辆可以是能够感测其环境并且在没有人类输入的情况下导航的任何车辆。这种车辆的示例包括自主驾驶车辆和半自主驾驶车辆。例如，一些实施方式基于这样的认识，即，用于供车辆遵循的将来参考轨迹可以直接通过传感器数据来确定，而不是首先根据传感器数据确定动态地图，然后在路径规划组件中使用该地图。如本文所使用的，参考轨迹可以是具有时间信息的路径，因此隐含或明确地包括速度信息，但参考轨迹也可以指没有时间信息的路径。一些实施方式基于这样的认识，即，尽管驾驶员在一生中遇到无数个场景和环境，但驾驶员对场景做出反应的结果动作和后续路径的数量是有限的。
图1A和图1B示出了示例环境，其中，自主驾驶车辆010在具有道路边界060 的双车道道路的右车道中行驶。在路上出现的是车辆020和车辆030。人类的五种感官共同给出了对环境的完整描述。每个场景都会给出略有不同的传感器输出组合，比较图1A与图1B，其中树050的位置略有不同，其它车辆020和030的颜色不同，给出一个略有不同的环境。因此，在外推这个时，学习如何单独对所有不同组合做出反应，对于周围环境的每个微小变化来说是压倒性的。然而，在不同环境中存在与导航车辆相关的类似元素，并且人脑学习传感器输出中与在各种条件、情形以及环境下驾驶车辆相关的那些部分。
例如，在比较图1A与图1B时，很明显，树位置050是无关紧要的，因为树木在道路边界060之外，它们不得超出。而且，对于自主驾驶车辆来说，在确定合适的运动时重要的不是车辆020和030的不同颜色。然而，必要的是其它车辆采取的将来路径040，因为自主驾驶车辆要行驶的路径依赖于此。即，在图1A和图1B中，在决定车辆的将来路径应该是什么时，重要的是道路上其它车辆的运动。
在改变车道时，转向指令可以在一组连续的不同转向力矩中选择。而且，油门和制动命令都可以在全加速和全减速之间的连续设定中选择，并且为了准确了解在特定场景和特定环境中的特定时刻输出什么命令，会要求无限的计算资源。然而，尽管驾驶方式给出了不同的控制命令来实现预期路径，但在给定情形下车辆应遵循的期望路径对于不同的驾驶员来说是类似的。
用于理解周围的环境的一个信息来源是来自车载感知传感器(如摄像头、立体摄像头、激光雷达、超声传感器以及雷达)的原始输入数据。利用该输入数据，可以识别和检测对象。随后，可以将关于对象的信息发送至路径规划器，路径规划器在预测该车辆的将来安全路径时使用该信息。然而，这种方法的缺点在于大量计算花费在了检测对象上并提供冗余或与路径规划器无关的信息。
因此，一些实施方式基于这样的认识，即，车辆的避开障碍物的将来平稳路径可以通过将一序列输入数据(如图像序列)映射到车辆的预测路径中来实现，其中，车辆可以是任何类型的移动运输系统，包括客车、移动机器人或探测车(rover)。例如，如果客车行驶在道路上并且存在缓慢行驶的前车，通过分析来自安装在车辆上的至少一个摄像头的一序列图像帧，本发明的一些实施方式确定避开根据图像确定的对象的车辆路径存在于场景中，其中，避开障碍物的路径包括改变车辆的车道，或者保持同一车道但减慢到前车的速度。输入数据可以包括图像帧的衍生物、激光雷达数据、全球定位信息(GPS)或来自其它传感器(如惯性传感器)的传感器数据，或者作为所述输入数据的组合。
图1C示出了用于减少车辆运动控制中的计算的神经网络的一个实施方式的示意图。训练神经网络080接收预定大小的时间系列信号070(指示车辆附近的环境变化)，并将时间系列信号070变换成车辆的参考轨迹090，即，车辆在没有感测和建模干扰情况下理想上应遵循的轨迹。利用神经网络的这个限定，由于存在对编码到神经网络中的轨迹的预测，可以保证车辆运动的平稳性。
图1D示出了根据本发明一些实施方式的控制车辆的系统99的框图。车辆可以是旨在自主或半自主地执行的任何类型的系统。该系统可以包括人类操作员110，并且在这种情况下，系统是半自主的，并且包括超驰和相应地允许驾驶员110的动作的可能性。作为例子，系统100可以是四轮乘用车。可能的系统的另一个例子是差速驱动移动机器人。第三个例子是工业机器人操纵器。在本详细描述中，贯穿全文始终使用汽车来例示本发明。
车辆100包括感测车辆附近环境的至少一个传感器120。该传感器可以有几种类型。例如，该传感器可以是提供环境的一系列摄像头图像的视频摄像头，或者可以是提供由激光雷达扫描仪捕捉的环境的三维点的激光雷达。传感器设置也可以是不同传感器的组合。例如，视频摄像头可以与全球定位系统(GPS)组合，全球定位系统提供摄像头的位置信息和/或摄像头获取的图像序列的原点。
另外或者另选地，摄像头和GPS可以与加速度计组合，然后与两个传感器组合可以给出与图像序列相关联的速度和加速度信息。一个传感器可以是惯性测量单元 (IMU)。例如，IMU可以包括：3轴加速度计、3轴陀螺仪和/或磁力计。IMU可以提供速度、取向和/或其它位置相关信息。随着时间的推移，传感器将传感器信号121 提供给路径规划系统130。
系统99还包括存储至少一个神经网络的存储器140。存储在存储器140中的神经网络被训练，以将时间系列信号131映射至车辆的将来预测轨迹。另外或者另选地，在一个实施方式中，存储器140存储一组神经网络，该组神经网络中的每个神经网络被训练以考虑不同驾驶方式，以将时间系列信号映射至车辆的参考轨迹。
例如，系统99可以确定用于控制车辆的驾驶方式，并且从存储器中选择141与所确定的驾驶方式相对应的神经网络141。例如，驾驶方式可以基于来自车辆的用户的输入来确定。另外或另选地，如果车辆是半自主驾驶车辆，那么在车辆按手动模式驾驶时，可以学习该车辆的驾驶员的驾驶方式。另外或另选地，系统99可以基于时间系列信号131本身来选择神经网络。例如，针对不同的驾驶情形(例如，由外部输入110给出的)，选择141不同的神经网络。
路径规划系统130接收一序列传感器信号121并生成时间系列信号131。存储器140向路径规划系统130提供神经网络141，该路径规划系统确定参考轨迹132。另外，除了传感器输入以外，还可以将希望的航路点(waypoint)(即，中间期望位置) 提供给神经网络。航路点的用途是将所选择的轨迹引导至期望的路径。在另一实施方式中，还为了训练网络而提供航路点。在各种实施方式中，参考轨迹132可以被表示为一序列笛卡尔坐标(时间与每个坐标相关联)、车辆的一序列位置和速度以及车辆的一序列航向中的一个或组合。
系统99还可以包括一组控制器150，用于确定跟踪参考轨迹132的一组控制参考151。该组控制参考被发送至车辆的致动器160以供执行。例如，在无法预见和/ 或未建模的影响的情况下，例如由于环境170或传感器120的不确定性，或者神经网络141中的有限精度，车辆的运动轨迹101可以与参考轨迹132略微不同。然而，控制器150确保运动轨迹101在有界误差(bounded error)的情况下接近参考轨迹132。例如，控制器150可以包括失效模式控制器，当轨迹132或者150中的其它控制器失效时，其充当安全层。
图1E示出了根据本发明一些实施方式的控制车辆的运动的方法的流程图。该方法生成170a指示车辆附近的环境相对于该车辆的运动的变化的时间系列信号171。使用170至少一个传感器的一序列测量结果来生成时间系列信号171。时间系列信号 171可以根据车辆的各种传感器的测量结果生成，并且可以包括关于车辆周围的对象和环境的信息。时间系列信号也可以利用车辆的位置和速度进行细化。
该方法例如从存储器140中选择175被训练以将时间系列信号变换成车辆的参考轨迹的神经网络172，并且确定175向神经网络提交该时间系列信号的参考轨迹176。该神经网络被训练以生成作为时间的函数的参考轨迹176，其满足关于车辆位置的时间约束和空间约束。如在此引用的，车辆位置的时间和空间约束是对车辆在该车辆应该满足的特定将来时刻的位置的要求，以便保证车辆不与其它障碍物(如其它车辆或行人)碰撞，确保车辆不会驶离道路，并且为感知和神经网络训练中的缺陷提供鲁棒性。时间约束和空间约束的示例包括车辆位置偏离道路中间的界限、在给定时间步偏离期望位置的界限、当到达期望位置时的时间偏差的界限、与道路上的障碍物的最小距离以及完成车道变换应花费的时间。
该方法确定180跟踪参考轨迹176同时满足车辆173的运动约束的运动轨迹181。如在此引用的，车辆的运动约束是车辆运动应满足的要求，以便为车辆的使用者和环境提供安全且平稳的驾乘。虽然车辆的空间约束确保车辆在时间和地点的某些组合下按期望那样表现，但车辆的运动约束涉及为到达车辆的不同位置而使用的运动。对车辆运动的约束的示例包括当前加速度的变化以及车辆的航向角(heading angle)和航向速度(headingrate)的界限、偏离车辆期望速度分布的界限、车辆横向速度的界限、与周围车辆速度偏差的界限以及在完成变道或在超过另一辆车时的速度和航向分布。
运动轨迹可以按几种方式确定，但一般原则是将参考轨迹映射至运动轨迹，其中，运动轨迹可以但不一定是参考轨迹的低级别表示。例如，参考轨迹可以包括车辆的位置分布，但是负责车辆致动的控制器不能以位置分布作为输入，而是诸如车轮滑移、速度分布、车轮转向角或某一其它表示的其它实体。确定运动轨迹也满足去除或至少抑制神经网络172未捕捉的剩余不确定性的影响的目的。例如，神经网络没有明确地学习车辆的动力学，因为这对于神经网络而言在计算上是禁止的。然而，对于自动控制方面的技术人员来说，可以通过来自控制界的技术来考虑车辆的动力学。
在一些实施方式中，使用模型预测控制器确定运动轨迹，模型预测控制器将参考轨迹映射至车辆车轮的转向轨迹的运动并且映射至车辆车轮的速度轨迹的运动，同时考虑对车辆运动的测量，也就是说，该控制器可以是反馈控制器。在另一实施方式中，前述模型预测控制器代替地将参考轨迹映射至车辆的期望车轮滑移轨迹和车辆车轮的期望转向轨迹。要承认的是，将参考轨迹映射至车辆的运动轨迹的任何技术(如查寻表、Lyapunov控制、基于学习的控制)都可以用于该目的，但模型预测控制已经被用作了示例，这是因为其可以明确地解释车辆的运动约束，确保给出参考轨迹的神经网络和在确定运动轨迹时都考虑相同的约束。还要承认的是，运动轨迹可以分成两部分；上面解释的一个反馈部分，和一个前馈部分，前馈部分确定在没有任何外部干扰的情况下会发生的运动轨迹。
该方法控制车辆的运动以遵循该运动轨迹。例如，该方法将运动轨迹181映射 185至控制命令182，并且根据该控制命令来控制190车辆的运动。该方法的步骤由车辆的处理器执行，该处理器在工作上能够连接至存储器140和至少一个传感器120。而且，可以将确定180视为确定运动轨迹181，该运动轨迹181包括用于车辆的致动器的一组命令，以使车辆根据目标移动。
图1F示出了根据本发明一个实施方式的路径规划系统130和存储器140的总体结构。路径规划系统130包括至少一个处理器180，用于执行路径规划系统130的模块。处理器180连接131、141至存储神经网络142的存储器140。存储器140还存储143选择神经网络142的逻辑，神经网络142被训练成优选的驾驶方式。存储器 140还将传感器数据121存储144给定时段，处理器180使用传感器数据121来构建时间系列信号。
在本发明的各个实施方式中，认识到，从传感器数据学习路径比从传感器数据学习控制命令更加高效，原因有很多。例如，通过训练一个或几个神经网络来从数据中学习将来轨迹，本发明为汽车中的乘客提供平稳驾乘、更好的燃油效率以及不太突然的运动。
图2A示出了在具有道路边界210的道路200上行驶的车辆250的示意图。道路包括障碍物220。车辆的目标是在继续停留在路上并避开障碍物220的同时达到240，优选地在保持接近某一预定义路径230的情况下。根据传感器数据，至少一个神经网络已经被离线训练以将时间系列信号映射至轨迹270。相反，如果采取从传感器数据至控制命令的映射，那么不涉及预测。因此，违反了模型误差和传感器误差的鲁棒性，如本领域技术人员应当理解的。虽然仍可以避开障碍物220，但平稳度要低得多。
效率的另一个例子是使用神经网络将时间系列信号映射至参考轨迹而不是控制命令，允许将经训练的神经网络应用于不同的车辆。如果采取映射至控制命令，那么特定映射还有训练取决于所采用的特定车辆，因为不同车辆有不同的系统、参数，如将车辆带到给定位置的传动比、转向齿轮比等。相反，如果使用从时间系列信号至参考轨迹的映射，那么在映射中没有暗示特定的车辆动力学，所以系统和方法都与车辆无关。
图2B示出了例示一些实施方式背后的直觉的示意图，所述直觉与人类的学习和行为有关。例如，考虑一个人打算从A点走到B点的情况，如图2B所描绘的，其中存在障碍物220。一个人感测环境一段时间，决定如何走290到目标B，然后执行该计划。尽管每个人的路径可能不同，但差异的原因是每个人的偏好和决策略有不同，而不是每个人的肢体的肌肉力量或尺寸，那么如何执行计划就不那么重要了。然后，回到图1D，对环境的感测对应于传感器120的感测，决定如何走对应于路径规划130，并且计划的执行对应于控制器150。
图3示出了根据一些实施方式的路径规划系统与车辆控制器之间的交互作用的示意图。例如，在本发明的一些实施方式中，车辆的控制器150是转向控制器351 和制动/油门控制器352，其控制与车辆的运动相关联的不同实体。例如，转向控制器 351可以将来自路径规划系统330的参考轨迹映射至车辆的运动轨迹，这包括车辆方向盘的一序列角度。例如，制动控制模块352可以将速度的参考轨迹映射至车辆的制动压力和发动机油门命令轨迹。
图4A示出了由一些实施方式采用的可能传感器配置和从传感器到参考轨迹的映射的示例性示意图。在该示例性示意图中，传感器配置400包括以下各项：全球定位系统(GPS)407；惯性测量单元(IMU)406；航路点或一组航路点(目的地)405；J个摄像头408、K个雷达404、L个激光雷达409以及M个超声传感器403。传感器测量结果被映射410至时间系列信号。该时间系列信号可以以多种方式表示。
图4B示出了根据一些实施方式的由车辆的一串传感器的测量结果构建的时间系列信号的示例。在该示例中，一串传感器中的一项对应于所有传感器在给定时间步的测量结果，形成固定的预定大小的输入矢量。例如，考虑在要使用三个时刻的传感器数据时的场景。框411对应于时间t＝-2的传感器数据，框412对应于时间＝t_1的传感器数据，并且框413对应于时间t＝0(当前时间)的传感器数据等等。可以训练几个神经网络。一组航路点(即，车辆的中间期望目的地)例如从汽车导航系统给出，并且可以被用来训练神经网络以处理不同的场景。
根据一些实施方式，可以针对不同的驾驶方式训练不同的神经网络。例如，一个神经网络可以被训练用于激进驾驶，另一神经网络可以被训练用于正常驾驶，而又一个神经网络可以被训练用于谨慎驾驶。例如，当训练相应网络时，可以将不同的收集数据标记为不同的驾驶方式，然后将特定网络瞄准不同的驾驶方式。
图4C示出了半自主驾驶车辆的相关内部或用户界面的示例性场景，也就是说，车辆的操作人员可以通过与车辆的方向盘或仪表板440c相关联的按钮450c来决定是以手动模式还是以自主模式驾驶。仪表板400c包括操作人员可以用来驾驶车辆的方向盘410c和用于示出车辆的不同模式(如速度和传感器输出)的显示器420c。当采用手动模式时，通过打开学习模式460c，神经网络学习操作人员的驾驶方式并随后识别该驾驶方式，模仿操作人员的驾驶方式。操作人员或车辆的另一用户也可以选择手动输入操作模式440c。还包括示出车辆的规划路径和周围的环境的可视化模块 430c以及用于变得可用时通过无线电(over the air)添加新驾驶方式或改进已包括的车辆驾驶方式的按钮470c。440c中还包括汽车导航系统或等同系统，操作人员可以使用汽车导航系统来插入车辆的最终目的地，然后汽车导航系统向车辆提供航路点或中间目标位置。
图4D示出了根据一些实施方式的用于将传感器数据409d过滤并组织成时间系列信号的方法400d的示例性框图。例如，输入信号滤波器410d可以通过将IMU(提供对车辆速度的推导)和GPS信息411d(提供车辆位置)处理为状态估计量420d 来预处理和确定新信号，以与单独使用该信号相比提供更准确的位置和速度信息 421d。滤波器410d还可以通过处理给出指示车辆运动的空间约束的信息的不同传感器数据412d(如激光雷达和摄像头数据)来确定新信号431d(通过融合不同的传感器430d，从而提供新的传感器信号431d)。输入信号滤波器410d还可以被用于改进例如从汽车导航系统给出的一组航路点或目标位置。该组航路点也可以与其它传感器数据412d融合。模块450d使改进的状态数据421d与融合数据431d同步，以确保它们对应于同一时刻。另选地，模块450d可以将改进的状态数据421d与未合并数据 413d同步，但具有一组改进的航路点。最后，使用同步的传感器数据451d来创建460d 时间系列信号，所述时间系列信号被发送461d至神经网络470d。
图5例示了在训练神经网络时考虑的、关于行驶在路上的车辆的运动的可能规范的示例性列表。参考轨迹隐含地限定了车辆运动的多个规范，其在控制车辆运动时，理想情况下应当满足。关于运动的规范可以映射至车辆运动的约束。例如，关于车辆运动的规范可以要求车辆继续停留在道路上500。可能的附加规范可以要求车辆应当以标称速度520在车道的中间行驶510。标称速度可以由道路速度限制给出，或者可以由车辆的驾驶员或乘客给出。例如，规范还可以要求车辆保持对周围障碍物的安全裕度。另外，另一可能规范是保持与同一车道中的车辆的安全距离540，这可以与530 相同但通常不必相同。出于乘客舒适性、燃油消耗、磨损或其它原因，该规范可以要求车辆的平稳行驶550。根据要训练的特定网络的期望驾驶方式，不同规范可以具有彼此不同的相对重要性。
图6示出了由一些实施方式使用的深度神经网络的框图。例如，在一个实施方式中，深度神经网络包括两个部分。第一部分是编码器子网络610，其以指示车辆运动的约束的表示601对时间系列信号611进行编码，这使得能够实现有效的路径规划。第二部分包括解码器子网络620，其被训练为根据指示车辆运动的约束的信息601来生成参考轨迹621。编码器网络和解码器网络都被实现为递归神经网络611。要明白的是，任何给定数量的递归神经网络都可以用于预期目的。编码器网络610的目标是提取生成参考轨迹所需的信息。例如，当一个人在高速公路上行车时，车辆附近有障碍物，关于前方几百米处的树木中的鸟或障碍物的信息不太重要。
在每个时刻，传感器测量612(举例来说，如关于图4D所描述的)，或者来自摄像头的图像或来自激光雷达的三维点坐标，或者这两者中的一个与GPS信息和目的地(由机器中配备的感测装置捕获并由汽车导航系统给出的)相结合，连同位置信息一起被输入至编码器网络。编码器网络通过神经计算层处理数据，神经计算层由内积和修正线性单元非线性运算组成。在每个时刻的编码器网络的输出是周围环境的抽象表示，其可以由解码器网络用于生成参考轨迹。
在每个时刻，解码器网络620将由编码器网络610计算的表示601作为输入并输出参考轨迹。该轨迹可以以几种方式限定，例如，限定为一序列点坐标621，或者限定为具有速度信息的一序列点坐标，或其组合。解码器网络620逐个地生成点坐标 621。应注意，解码器网络620是非因果的并且可以生成将来轨迹。
在一些实施方式中，编码器网络和解码器网络都是递归神经网络，用于允许所得网络的动态时间行为。可以利用各种版本的递归神经网络(如长期短期记忆递归神经网络，或堆叠递归神经网络)。递归神经网络可以具有多个层。每一层都可以是完全连接或卷积的。
图7示出了根据一些实施方式的训练神经网络的示意图。训练710使用训练集的传感器输入序列701和对应的期望轨迹702来生成RNN的权重720。通常来说，训练人工神经网络包括应用训练算法，有时被称为“学习”算法，训练集可以包括一组或更多组输入以及一组或更多组输出，其中每组输入对应于一组输出。训练集中的一组输出包括当对应一组输入被输入至神经网络时希望该神经网络生成的一组输出。
例如，一个实施方式按端到端方式训练神经网络，如网络080。训练710涉及利用奖励(reward)将一序列传感器数据701映射至将来轨迹702，诸如车辆的路径703 和速度704，其中，已经预先定义了深度神经网络的奖励。例如，可以基于期望的驾驶方式和/或车辆运动的规范来选择奖励。参照图5描述了这种规范的示例。
训练数据可以包括来自车载传感器的输入时间系列信号和期望输出车辆轨迹，例如但不是必须的，作为相对于车辆的一序列笛卡尔坐标给出。另外，训练数据可以包括期望速度分布，例如由车辆的乘客给出，并且输入数据可以根据正在训练的当前驾驶方式进行标记。可以根据优选驾驶方式的数量训练几个神经网络，并且对应标记数据针对每种驾驶方式来定制神经网络。
例如，车辆的操作员或另一用户可以选择要使用的驾驶方式，或者操作员可以选择让车辆决定适于车辆当前用户的驾驶方式，然后从车辆的存储器中选择。输出轨迹可以包括速度信息，或者可以在没有伴随时间信息的情况下加以描述。时间系列信号被发送至编码器网络以计算指示车辆运动的约束的信息。然后将该信息传递给解码器网络以生成与所需轨迹匹配的输出轨迹。所生成的轨迹与期望轨迹之间的不匹配提供了用于更新神经网络权重的监督信号。训练可以经由现成的前馈神经网络训练算法实现，如随机梯度下降和动量算法(stochastic gradient descent with moment algorithm)。解码器网络和编码器网络一起训练，因为如果两个网络被分开训练，则没有针对编码器网络的输出目标，并且没有针对解码器网络的输入信号。而且，递归神经网络的结构确保可以通过观察过去的轨迹来学习将来的轨迹。
也可以利用模拟不同驾驶方式的仿真数据来完成网络的训练。利用这样的方法，尽管未完美地匹配真正的驾驶员，但训练阶段和数据收集量可以显著减少。
本发明的上述实施方式可以按许多方式中的任一种来实现。例如，这些实施方式可以利用硬件、软件或其组合来实现。当按软件来实现时，软件代码可以在任何合适处理器或处理器集合上执行，而不管设置在单一计算机中还是分布在多个计算机当中。这种处理器可以被实现为集成电路，在集成电路组件中具有一个或更多个处理器。然而，处理器可以利用采用任何合适格式的电路来实现。
另外或者另选地，上述实施方式可以被实现为包含有可通过处理器执行的程序的非暂时性计算机可读存储介质，该程序用于执行各个实施方式的方法。
而且，在此概述的各种方法或处理可以被编码为可以在采用多种操作系统或平台中的任一种的一个或更多个处理器上执行的软件。另外，这种软件可以利用许多合适编程语言和/或编程或脚本工具中的任一种来编写，而且还可以被编译为在框架或虚拟机上执行的可执行机器语言代码或中间代码。通常情况下，该程序模块的功能可以如在各种实施方式中所希望的组合或分布。
而且，本发明的实施方式可以被具体实施为已经提供了示例的方法。作为该方法的一部分执行的动作可以按任何合适方式来安排。因此，即使在例示性实施方式中被示出为顺序动作，也可以构造按与所例示相比不同的次序来执行动作的实施方式，其可以包括同时执行一些动作。

Claims (14)

1.一种控制车辆的方法，该方法包括：
利用至少一个传感器生成时间系列信号，所述时间系列信号表示所述车辆附近的环境相对于所述车辆的运动的变化；
从存储器中选择神经网络，所述神经网络被训练为将时间系列信号变换成所述车辆的参考轨迹；
将所述时间系列信号提交给所述神经网络，以生成作为时间的函数的参考轨迹，所述参考轨迹满足关于所述车辆的位置的时间约束和空间约束；
确定运动轨迹，所述运动轨迹跟踪所述参考轨迹并同时满足关于所述车辆的运动的约束；以及
控制所述车辆的运动以遵循所述运动轨迹，其中，所述方法的至少一些步骤由在工作上连接至所述存储器和所述传感器的处理器执行；
所述神经网络包括编码子网络和与所述编码子网络同时训练的解码子网络；
所述编码子网络被训练为将所述时间系列信号变换成表示关于所述车辆的运动的约束的信息；并且
所述解码子网络被训练为根据表示关于所述车辆的运动的约束的信息来生成所述参考轨迹；
所述编码子网络和所述解码子网络是递归神经网络。
2.根据权利要求1所述的方法，其中，所述时间系列信号包括所述传感器的测量的衍生物。
3.根据权利要求2所述的方法，其中，训练所述神经网络以接收预定大小的矢量作为输入，所输入的矢量包括表示下述各项的组合的元素：所述时间系列信号、表示所述车辆的当前位置的第一信息、表示所述车辆的目标位置的第二信息以及表示关于所述车辆的所述当前位置的空间约束的第三信息，所述方法还包括：
确定所述车辆的所述当前位置；
从所述存储器中提取所述车辆的所述目标位置和表示关于所述车辆的所述当前位置的所述空间约束的信息；
过滤所述传感器的测量结果以生成所述时间系列信号，使得所述时间系列信号与所述第一信息、所述第二信息以及所述第三信息的组合产生预定大小的矢量；
将所述时间系列信号与所述第一信息、所述第二信息以及所述第三信息组合，以生成预定大小的输入矢量；以及
将所述输入矢量输入到所述神经网络中，以生成所述参考轨迹。
4.根据权利要求3所述的方法，其中，过滤的步骤包括：
合并所述车辆的不同传感器的测量结果并使之同步。
5.根据权利要求1所述的方法，其中，所述存储器存储一组神经网络，所述一组神经网络中的各个神经网络被训练为考虑不同的驾驶方式而将所述时间系列信号映射至所述车辆的参考轨迹，所述方法还包括：
确定控制所述车辆的驾驶方式；以及
从所述存储器中选择与所确定的驾驶方式相对应的神经网络。
6.根据权利要求5所述的方法，其中，所述驾驶方式是基于来自所述车辆的用户的输入来确定的。
7.根据权利要求5所述的方法，其中，所述车辆是半自主驾驶车辆，所述方法还包括：
在按手动模式驾驶所述车辆时，学习所述车辆的驾驶员的所述驾驶方式。
8.根据权利要求1所述的方法，其中，所述编码子网络和所述解码子网络是利用针对不同驾驶模式的仿真数据来训练的。
9.根据权利要求1所述的方法，其中，所述参考轨迹规定了所述车辆的运动的目标，并且其中，所述运动轨迹包括针对所述车辆的致动器的一组命令，以使所述车辆根据所述目标移动。
10.一种控制车辆的系统，该系统包括：
至少一个传感器，所述至少一个传感器感测所述车辆附近的环境，以生成表示所述环境相对于所述车辆的运动的变化的时间系列信号；
存储器，所述存储器存储神经网络，所述神经网络被训练为将时间系列信号变换成所述车辆的参考轨迹；
至少一个处理器，所述至少一个处理器被配置为将所述时间系列信号提交给从所述存储器中选择的神经网络，以生成作为时间的函数的参考轨迹，所述参考轨迹满足关于所述车辆的位置的时间约束和空间约束，并且所述至少一个处理器被配置为确定运动轨迹，所述运动轨迹在跟踪所述参考轨迹的同时满足关于所述车辆的运动的约束；以及
控制器，所述控制器控制所述车辆的运动以遵循所述运动轨迹；
所述神经网络包括编码子网络和与所述编码子网络同时训练的解码子网络；
所述编码子网络被训练为将所述时间系列信号变换成表示关于所述车辆的运动的约束的信息；并且
所述解码子网络被训练为根据表示关于所述车辆的运动的约束的信息来生成所述参考轨迹；
所述编码子网络和所述解码子网络是递归神经网络。
11.根据权利要求10所述的系统，其中，所述存储器存储一组神经网络，所述一组神经网络中的各个神经网络被训练为考虑不同驾驶方式而将所述时间系列信号映射至所述车辆的参考轨迹，其中，所述处理器从所述存储器中选择与所确定的驾驶相对应的神经网络，所述系统还包括：
输入接口，所述输入接口接受所述车辆的用户对所述驾驶方式的选择。
12.根据权利要求10所述的系统，其中，所述编码子网络和所述解码子网络是利用针对不同驾驶模式的仿真数据来训练的。
13.根据权利要求10所述的系统，其中，所述参考轨迹规定了所述车辆的运动的目标，并且其中，所述运动轨迹包括针对所述车辆的致动器的一组命令，以使所述车辆根据所述目标移动。
14.一种包含程序的非暂时性计算机可读存储介质，所述程序能够由处理器运行而执行方法，所述方法包括：
生成表示车辆附近的环境相对于所述车辆的运动的变化的时间系列信号；
选择神经网络，所述神经网络被训练为将时间系列信号变换成所述车辆的参考轨迹；
将所述时间系列信号提交给所述神经网络，以生成作为时间的函数的参考轨迹，所述参考轨迹满足关于所述车辆的位置的时间约束和空间约束；
确定运动轨迹，所述运动轨迹在跟踪所述参考轨迹的同时满足关于所述车辆的运动的约束；以及
控制所述车辆的运动以遵循所述运动轨迹；
所述神经网络包括编码子网络和与所述编码子网络同时训练的解码子网络；
所述编码子网络被训练为将所述时间系列信号变换成表示关于所述车辆的运动的约束的信息；并且
所述解码子网络被训练为根据表示关于所述车辆的运动的约束的信息来生成所述参考轨迹；
所述编码子网络和所述解码子网络是递归神经网络。
CN201780066782.0A 2016-11-03 2017-11-01 控制车辆的方法、系统和存储介质 Active CN109964188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/342,216 2016-11-03
US15/342,216 US9989964B2 (en) 2016-11-03 2016-11-03 System and method for controlling vehicle using neural network
PCT/JP2017/040343 WO2018084324A1 (en) 2016-11-03 2017-11-01 Method and system for controlling vehicle

Publications (2)

Publication Number Publication Date
CN109964188A CN109964188A (zh) 2019-07-02
CN109964188B true CN109964188B (zh) 2022-02-25

Family

ID=60574674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780066782.0A Active CN109964188B (zh) 2016-11-03 2017-11-01 控制车辆的方法、系统和存储介质

Country Status (5)

Country Link
US (1) US9989964B2 (zh)
EP (1) EP3535636B1 (zh)
JP (1) JP6712088B2 (zh)
CN (1) CN109964188B (zh)
WO (1) WO2018084324A1 (zh)

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170297586A1 (en) * 2016-04-13 2017-10-19 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for driver preferences for autonomous vehicles
EP3523760B1 (en) * 2016-11-04 2024-01-24 DeepMind Technologies Limited Reinforcement learning systems
US10345449B2 (en) * 2016-12-02 2019-07-09 Verizon Connect Ireland Limited Vehicle classification using a recurrent neural network (RNN)
US11210939B2 (en) 2016-12-02 2021-12-28 Verizon Connect Development Limited System and method for determining a vehicle classification from GPS tracks
US11093819B1 (en) 2016-12-16 2021-08-17 Waymo Llc Classifying objects using recurrent neural network and classifier neural network subsystems
US10829149B1 (en) 2017-03-01 2020-11-10 Zoox, Inc. Steering control for vehicles
EP4357869A3 (en) 2017-03-20 2024-06-12 Mobileye Vision Technologies Ltd. Trajectory selection for an autonomous vehicle
DE102017205093A1 (de) * 2017-03-27 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren und System zur Vorhersage von Sensorsignalen eines Fahrzeugs
US10252659B2 (en) * 2017-03-31 2019-04-09 Intel Corporation Autonomous mobile goods transfer
US10710592B2 (en) * 2017-04-07 2020-07-14 Tusimple, Inc. System and method for path planning of autonomous vehicles based on gradient
CN115855022A (zh) * 2017-04-07 2023-03-28 辉达公司 使用深度神经网络执行自主路径导航
JP6951659B2 (ja) * 2017-05-09 2021-10-20 オムロン株式会社 タスク実行システム、タスク実行方法、並びにその学習装置及び学習方法
WO2018212538A1 (en) * 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US11537134B1 (en) * 2017-05-25 2022-12-27 Apple Inc. Generating environmental input encoding for training neural networks
US10883844B2 (en) 2017-07-27 2021-01-05 Waymo Llc Neural networks for vehicle trajectory planning
US11256983B2 (en) * 2017-07-27 2022-02-22 Waymo Llc Neural networks for vehicle trajectory planning
US10678241B2 (en) * 2017-09-06 2020-06-09 GM Global Technology Operations LLC Unsupervised learning agents for autonomous driving applications
DE102017120729A1 (de) * 2017-09-08 2019-03-14 Connaught Electronics Ltd. Freiraumdetektion in einem Fahrerassistenzsystem eines Kraftfahrzeugs mit einem neuralen Netzwerk
US11079497B2 (en) * 2017-09-25 2021-08-03 Continental Automotive Systems, Inc. Vehicle localization based on neural network
US11555706B1 (en) * 2017-09-27 2023-01-17 Apple Inc. Processing graph representations of tactical maps using neural networks
US11243532B1 (en) 2017-09-27 2022-02-08 Apple Inc. Evaluating varying-sized action spaces using reinforcement learning
US11657266B2 (en) 2018-11-16 2023-05-23 Honda Motor Co., Ltd. Cooperative multi-goal, multi-agent, multi-stage reinforcement learning
US11093829B2 (en) * 2017-10-12 2021-08-17 Honda Motor Co., Ltd. Interaction-aware decision making
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
EP3495220B1 (en) * 2017-12-11 2024-04-03 Volvo Car Corporation Path prediction for a vehicle
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US10737717B2 (en) * 2018-02-14 2020-08-11 GM Global Technology Operations LLC Trajectory tracking for vehicle lateral control using neural network
US11514371B2 (en) * 2018-03-13 2022-11-29 Woven Planet North America, Inc. Low latency image processing using byproduct decompressed images
WO2019229728A1 (en) * 2018-06-01 2019-12-05 Thales Canada Inc. System for and method of data encoding and/or decoding using neural networks
KR102416203B1 (ko) 2018-06-01 2022-07-06 탈레스 캐나다 아이엔씨 자기-학습(self-learning) 차량 제어 시스템
US10878276B2 (en) 2018-06-05 2020-12-29 Hrl Laboratories, Llc Method and system for detecting change of context in video streams
EP3588226B1 (en) * 2018-06-29 2020-06-24 Zenuity AB Method and arrangement for generating control commands for an autonomous road vehicle
US10685282B2 (en) * 2018-07-25 2020-06-16 WaveOne Inc. Machine-learning based video compression
WO2020019237A1 (en) * 2018-07-26 2020-01-30 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for dispatching service providers
US10739768B2 (en) * 2018-08-08 2020-08-11 Toyota Motor Engineering & Manufacturing North America, Inc. Smoothed and regularized Fischer-Burmeister solver for embedded real-time constrained optimal control problems in autonomous systems
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
WO2020033967A1 (en) 2018-08-10 2020-02-13 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
US10839230B2 (en) 2018-09-06 2020-11-17 Ford Global Technologies, Llc Multi-tier network for task-oriented deep neural network
US11514293B2 (en) * 2018-09-11 2022-11-29 Nvidia Corporation Future object trajectory predictions for autonomous machine applications
CN112703533A (zh) * 2018-09-17 2021-04-23 诺基亚通信公司 对象跟踪
US11040714B2 (en) * 2018-09-28 2021-06-22 Intel Corporation Vehicle controller and method for controlling a vehicle
FR3086622B1 (fr) * 2018-09-28 2022-06-24 Renault Sas Dispositif de planification d'un chemin et/ou d'une trajectoire d'un vehicule automobile
US11079495B2 (en) * 2018-10-31 2021-08-03 Mitsubishi Electric Research Laboratories, Inc. Position estimation under multipath transmission
US11110922B2 (en) 2018-11-05 2021-09-07 Zoox, Inc. Vehicle trajectory modification for following
US10739777B2 (en) * 2018-11-20 2020-08-11 Waymo Llc Trajectory representation in behavior prediction systems
US11137762B2 (en) * 2018-11-30 2021-10-05 Baidu Usa Llc Real time decision making for autonomous driving vehicles
CN111275225B (zh) * 2018-12-04 2022-07-19 北京嘀嘀无限科技发展有限公司 空车轨迹预测方法、预测装置、服务器和可读存储介质
US11782158B2 (en) 2018-12-21 2023-10-10 Waymo Llc Multi-stage object heading estimation
US10867210B2 (en) 2018-12-21 2020-12-15 Waymo Llc Neural networks for coarse- and fine-object classifications
US10977501B2 (en) 2018-12-21 2021-04-13 Waymo Llc Object classification using extra-regional context
CN109711054B (zh) * 2018-12-27 2022-12-23 沈阳航空航天大学 一种基于学习的用于车辆通信的车辆轨迹生成方法
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
EP3696734A1 (en) * 2019-02-15 2020-08-19 Siemens Aktiengesellschaft Tensor-train recurrent neural network supported autonomous and assisted driving
US11718300B2 (en) * 2019-02-27 2023-08-08 Zf Automotive Germany Gmbh Method and control unit for a system for controlling a motor vehicle
CN109857118B (zh) * 2019-03-12 2022-08-16 百度在线网络技术（北京）有限公司 无人车规划驾驶策略的方法、装置、设备及存储介质
EP3712802A1 (en) * 2019-03-19 2020-09-23 Robert Bosch GmbH Method for representing an environment of a mobile platform
JP7469850B2 (ja) * 2019-03-25 2024-04-17 本田技研工業株式会社 経路決定装置、ロボット及び経路決定方法
CN111830949B (zh) * 2019-03-27 2024-01-16 广州汽车集团股份有限公司 自动驾驶车辆控制方法、装置、计算机设备和存储介质
US11169513B2 (en) * 2019-03-29 2021-11-09 Tusimple, Inc. Operational testing of autonomous vehicles
CN109866752B (zh) * 2019-03-29 2020-06-05 合肥工业大学 基于预测控制的双模式并行车辆轨迹跟踪行驶系统的方法
EP3745310A1 (en) * 2019-05-28 2020-12-02 Robert Bosch GmbH Method for calibrating a multi-sensor system using an artificial neural network
US11436076B2 (en) * 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11608083B2 (en) 2019-09-18 2023-03-21 Honda Motor Co., Ltd. System and method for providing cooperation-aware lane change control in dense traffic
EP4254122A3 (en) * 2019-10-01 2024-02-14 Elektrobit Automotive GmbH Deep learning based motion control of a vehicle
US11386670B2 (en) * 2019-10-03 2022-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for tracking non-connected vehicles
US11548520B2 (en) * 2019-10-11 2023-01-10 Mitsubishi Electric Research Laboratories, Inc. Control of autonomous vehicles adaptive to user driving preferences
CN110733506B (zh) * 2019-10-17 2021-03-02 上海舵敏智能科技有限公司 无人驾驶车辆的车道变更方法及设备
JP6809587B1 (ja) 2019-10-18 2021-01-06 トヨタ自動車株式会社 車両用制御装置
JP6744597B1 (ja) 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6705545B1 (ja) 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6705544B1 (ja) 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
US11586931B2 (en) * 2019-10-31 2023-02-21 Waymo Llc Training trajectory scoring neural networks to accurately assign scores
CN111027461B (zh) * 2019-12-06 2022-04-29 长安大学 基于多维单步lstm网络的车辆轨迹预测方法
US20210188276A1 (en) * 2019-12-20 2021-06-24 Toyota Jidosha Kabushiki Kaisha Vehicle control data generating method, vehicle controller, vehicle control system, and vehicle learning device
CN111027146B (zh) * 2019-12-30 2023-11-24 行蜂科技(深圳)有限责任公司 一种车辆载荷动态实时计算方法
JP7331704B2 (ja) 2020-01-09 2023-08-23 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、および車両用制御システム
JP7287287B2 (ja) 2020-01-09 2023-06-06 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7243642B2 (ja) 2020-01-09 2023-03-22 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
CN111291786B (zh) * 2020-01-17 2022-10-25 清华大学 一种车载视觉实时多目标航向角估计方法及装置
IL294915A (en) * 2020-02-03 2022-09-01 Bae Systems Hagglunds Ab Embedded goal tracking training
WO2021160273A1 (en) * 2020-02-13 2021-08-19 Automotive Artificial Intelligence (Aai) Gmbh Computing system and method using end-to-end modeling for a simulated traffic agent in a simulation environment
EP3872710A1 (en) * 2020-02-27 2021-09-01 Aptiv Technologies Limited Method and system for determining information on an expected trajectory of an object
US12001958B2 (en) * 2020-03-19 2024-06-04 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine
CN111523643B (zh) * 2020-04-10 2024-01-05 商汤集团有限公司 轨迹预测方法、装置、设备及存储介质
CN111552294B (zh) * 2020-05-14 2024-03-26 山东师范大学 基于时间依赖的室外机器人寻路仿真系统及方法
WO2021248301A1 (zh) * 2020-06-09 2021-12-16 华为技术有限公司 自动驾驶系统的自学习方法、装置、设备及存储介质
US11807272B2 (en) 2020-07-28 2023-11-07 Toyota Research Institute, Inc. Systems and methods for multiple algorithm selection
EP3951673A1 (en) * 2020-08-04 2022-02-09 Aptiv Technologies Limited Method and system of collecting training data suitable for training an autonomous driving system of a vehicle
CN112034865B (zh) * 2020-08-12 2021-10-08 浙江大学 基于优化算法的全驱动水下航行器航迹跟踪控制方法
EP3955080B1 (en) * 2020-08-12 2024-01-17 Robert Bosch GmbH Method and device for socially aware model predictive control of a robotic device using machine learning
US11958498B2 (en) 2020-08-24 2024-04-16 Toyota Research Institute, Inc. Data-driven warm start selection for optimization-based trajectory planning
US11873006B2 (en) * 2020-09-21 2024-01-16 GM Global Technology Operations LLC Virtual lane estimation using a recursive self-organizing map
US11912300B2 (en) * 2020-09-30 2024-02-27 GM Global Technology Operations LLC Behavioral planning in autonomus vehicle
DE102020127216A1 (de) 2020-10-15 2022-04-21 Valeo Schalter Und Sensoren Gmbh Verfahren zum Ermitteln einer Trajektorie für ein Fahrzeug, Computerprogrammprodukt, Parkassistenzsystem und Fahrzeug
CN112255918B (zh) * 2020-10-21 2022-04-08 东南大学 汽车队列优化控制的方法及系统
US11753041B2 (en) 2020-11-23 2023-09-12 Waymo Llc Predicting behaviors of road agents using intermediate intention signals
US20220161820A1 (en) * 2020-11-25 2022-05-26 Sensible 4 Oy Autonomous vehicle route deployment systems and methods
CN112429044B (zh) * 2020-11-27 2023-02-28 株洲中车时代软件技术有限公司 一种基于非线性补偿的运行列车位置定位方法及其系统
US11851081B2 (en) 2020-12-01 2023-12-26 Waymo Llc Predictability-based autonomous vehicle trajectory assessments
CN112687121A (zh) * 2020-12-21 2021-04-20 苏州挚途科技有限公司 行驶轨迹的预测方法、装置及自动驾驶车辆
US11834066B2 (en) * 2020-12-29 2023-12-05 GM Global Technology Operations LLC Vehicle control using neural network controller in combination with model-based controller
CN116761981A (zh) * 2021-01-26 2023-09-15 地面运输系统加拿大公司 车辆定位系统
US11733369B2 (en) * 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN112762932B (zh) * 2021-04-07 2021-07-13 智道网联科技(北京)有限公司 基于神经网络模型的轨迹推算方法及装置
CN113253684B (zh) * 2021-05-31 2021-09-21 杭州蓝芯科技有限公司 基于图卷积神经网络的多agv调度方法及装置、电子设备
CN113894843B (zh) * 2021-07-22 2024-05-31 深兰机器人产业发展(河南)有限公司 移动机器人的打滑检测方法及相关装置
CN113778082B (zh) * 2021-08-23 2023-08-22 北京科技大学 一种基于自触发机制的无人车轨迹跟踪控制方法及系统
CN113815679B (zh) * 2021-08-27 2023-01-13 北京交通大学 一种高速列车自主驾驶控制的实现方法
US20230081726A1 (en) * 2021-09-15 2023-03-16 International Business Machines Corporation Measuring driving styles and calibrating driving models
CN114418159B (zh) * 2021-10-29 2023-01-03 中国科学院宁波材料技术与工程研究所 肢体运动轨迹及其预测误差的预测方法、系统和电子装置
CN113954876B (zh) * 2021-11-17 2023-09-29 山东理工大学 智能汽车纵横向整体反馈线性化控制方法
US11999376B2 (en) * 2022-02-01 2024-06-04 Huawei Technologies Co., Ltd. Systems, methods, and computer-readable media for spatio-temporal motion planning
CN114859712B (zh) * 2022-04-17 2023-08-01 西北工业大学 面向油门约束的飞行器制导控制一体化方法
CN115195743B (zh) * 2022-09-16 2022-12-23 毫末智行科技有限公司 基于无人驾驶的车辆自动变道方法、装置、设备及介质
US20240103522A1 (en) * 2022-09-27 2024-03-28 Aurora Operations, Inc. Perception system for an autonomous vehicle
US20240174264A1 (en) * 2022-11-30 2024-05-30 Nissan North America, Inc. Imitation Learning for Trajectory Planning
CN117516581A (zh) * 2023-12-11 2024-02-06 江苏大学 融合BEVFormer和邻域注意力Transformer端到端自动驾驶轨迹规划系统、方法及训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656524A (zh) * 2002-03-22 2005-08-17 易卜拉欣·纳拉 车辆的导航、防撞、和控制系统
US7046822B1 (en) * 1999-06-11 2006-05-16 Daimlerchrysler Ag Method of detecting objects within a wide range of a road vehicle
WO2016124487A1 (en) * 2015-02-03 2016-08-11 Jaguar Land Rover Limited A system for use in a vehicle
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2974440B2 (ja) * 1991-03-22 1999-11-10 株式会社日立製作所 自動車総合制御装置
JPH06262963A (ja) * 1993-03-15 1994-09-20 Toshiba Corp 運転制御方法および運転制御装置
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US6526352B1 (en) * 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
US7085637B2 (en) * 1997-10-22 2006-08-01 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
US9428186B2 (en) * 2002-04-09 2016-08-30 Intelligent Technologies International, Inc. Exterior monitoring for vehicles
JP4115877B2 (ja) * 2003-04-28 2008-07-09 本田技研工業株式会社 車両用走行制御装置
US7447593B2 (en) 2004-03-26 2008-11-04 Raytheon Company System and method for adaptive path planning
JP2007299366A (ja) * 2006-01-31 2007-11-15 Sony Corp 学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、認識生成装置および認識生成方法、並びにプログラム
JP4353192B2 (ja) * 2006-03-02 2009-10-28 トヨタ自動車株式会社 進路設定方法、装置、プログラム、および自動運転システム
JP5774361B2 (ja) 2011-04-28 2015-09-09 本田技研工業株式会社 軌道計画方法、軌道計画システム及び軌道計画・制御システム
JP6301713B2 (ja) * 2013-08-12 2018-03-28 株式会社Ｓｏｋｅｎ 走行経路生成装置
US9195904B1 (en) 2014-05-08 2015-11-24 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects in stereo images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046822B1 (en) * 1999-06-11 2006-05-16 Daimlerchrysler Ag Method of detecting objects within a wide range of a road vehicle
CN1656524A (zh) * 2002-03-22 2005-08-17 易卜拉欣·纳拉 车辆的导航、防撞、和控制系统
WO2016124487A1 (en) * 2015-02-03 2016-08-11 Jaguar Land Rover Limited A system for use in a vehicle
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation

Also Published As

Publication number Publication date
US20180120843A1 (en) 2018-05-03
WO2018084324A1 (en) 2018-05-11
CN109964188A (zh) 2019-07-02
JP2019519851A (ja) 2019-07-11
EP3535636A1 (en) 2019-09-11
US9989964B2 (en) 2018-06-05
JP6712088B2 (ja) 2020-06-17
EP3535636B1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
CN109964188B (zh) 控制车辆的方法、系统和存储介质
JP7444874B2 (ja) 方法、非一時的コンピュータ可読媒体、および、車両
JP7361775B2 (ja) 自律運転のための個人運転スタイル学習
US10733510B2 (en) Vehicle adaptive learning
US11780472B2 (en) Systems and methods for generating motion forecast data for a plurality of actors with respect to an autonomous vehicle
US11269329B2 (en) Dynamic model with learning based localization correction system
EP3495220A1 (en) Path predicition for a vehicle
CN112840350A (zh) 自动驾驶车辆规划和预测
RU2721860C2 (ru) Система и способ управления крутящим моментом рулевой колонки
US20170168485A1 (en) System and Method for Controlling Autonomous Vehicles
US11740624B2 (en) Advanced control system with multiple control paradigms
US20190018412A1 (en) Control Method for Autonomous Vehicles
CN112068574A (zh) 一种无人车在动态复杂环境中的控制方法及系统
CN111868641A (zh) 用于产生用于训练车辆控制设备的人工智能模块的训练数据组的方法
CN114830055A (zh) 阻塞区域引导
US11887317B2 (en) Object trajectory forecasting
Ventura Safe and flexible hybrid control architecture for the navigation in formation of a group of vehicles
Jahoda et al. Autonomous car chasing
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
US20240185437A1 (en) Computer-Implemented Method and System for Training a Machine Learning Process
Ginerica et al. A vision-dynamics learning approach to prediction-based control in autonomous vehicles
US11892852B2 (en) Information processing apparatus and information processing method
Sahal et al. Lane Keeping System using Convolutional Neural Network for Autonomous Car
Seppänen Aiding mobile robot teleoperator with short-term autonomous control system based on robot vision
Ding Teleoperation System for Autonomous Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant