CN107577227A - 操作无人驾驶车辆的方法、装置和数据处理系统 - Google Patents

操作无人驾驶车辆的方法、装置和数据处理系统 Download PDF

Info

Publication number
CN107577227A
CN107577227A CN201710203452.3A CN201710203452A CN107577227A CN 107577227 A CN107577227 A CN 107577227A CN 201710203452 A CN201710203452 A CN 201710203452A CN 107577227 A CN107577227 A CN 107577227A
Authority
CN
China
Prior art keywords
driving
automatic driving
vehicle
control data
route segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710203452.3A
Other languages
English (en)
Other versions
CN107577227B (zh
Inventor
朱帆
孔旗
杨光
王京傲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN107577227A publication Critical patent/CN107577227A/zh
Application granted granted Critical
Publication of CN107577227B publication Critical patent/CN107577227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B60W2710/0605—Throttle position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

在一个实施方案中，接收运动规划和控制数据，其中该运动规划和控制数据指示无人驾驶车辆将在预先确定的路线内从路径的第一点移动到第二点。响应于运动规划和控制数据，将从第一点到第二点的路径分割成多个路径段。针对路径段中的每一路径段，识别预先确定的驾驶场景中与对应路径段的运动特性相匹配的一个驾驶场景。基于路径段的预先确定的运动设置，修改与路径段相关联的运动规划和控制数据。基于经修改的运动规划和控制数据，驾驶无人驾驶车辆通过所述路径的路径段。

Description

操作无人驾驶车辆的方法、装置和数据处理系统
技术领域
本发明的实施方案一般涉及操作无人驾驶车辆。更具体地，本发明的实施方案涉及用于操作无人驾驶车辆的基于场景的规划控制方法。
背景技术
一些车辆可部分或完全地自主操作。按自主模式(例如，无驾驶员)操作的车辆可免除乘客(尤其是驾驶员)的一些驾驶相关责任。当按自主模式操作时，车辆驾驶方面中的一些或全部可由车辆控制系统处理。可利用联接到车辆控制系统的数据处理系统来执行某些功能，例如规划驾驶路线或路径、感测车辆周围的环境以及控制其它驾驶组件(例如，转向、油门和制动系统)。因此，无人驾驶车辆可使用车载传感器导航到各种位置，从而允许车辆以最小人类互动或在一些情况下在无任何乘客的情况下行进。
运动规划和控制是无人驾驶中的关键操作。然而，无人驾驶车辆不像由人类驾驶员驾驶的车辆那样平滑。另一方面，由于要控制的条件的数目增加，因此记录人类驾驶员在所有情形下的驾驶反应不可行。在许多情况下，无人驾驶车辆的乘客可能因不平滑加速、减速或转弯而晕车。缺少解决此类缺陷的有效方法。
发明内容
本申请的目的在于提供用于操作无人驾驶车辆的计算机实现的方法、操作无人驾驶车辆的装置以及数据处理系统。
根据一个方面，提供了一种用于操作无人驾驶车辆的计算机实现的方法，该方法可包括：接收运动规划和控制数据，所述运动规划和控制数据指示无人驾驶车辆将在预先确定的路线内从路径的第一点移动到第二点；响应于所述运动规划和控制数据，将从所述第一点到所述第二点的路径分割成多个路径段；针对所述多个路径段中的每一路径段，识别多个预先确定的驾驶场景中与对应路径段的运动特性相匹配的一个驾驶场景；基于所述多个路径段的预先确定的运动设置，修改与所述多个路径段相关联的运动规划和控制数据；以及基于经修改的运动规划和控制数据，驾驶所述无人驾驶车辆通过所述路径的所述多个路径段。
根据另一个方面，提供了一种操作无人驾驶车辆的装置，该装置可包括：接收运动规划和控制数据的装置，所述运动规划和控制数据指示无人驾驶车辆将在预先确定的路线内从路径的第一点移动到第二点；响应于所述运动规划和控制数据，将从所述第一点到所述第二点的路径分割成多个路径段的装置；针对所述多个路径段中的每一路径段，识别多个预先确定的驾驶场景中与对应路径段的运动特性相匹配的一个驾驶场景的装置；基于所述多个路径段的预先确定的运动设置，修改与所述多个路径段相关联的运动规划和控制数据的装置；以及基于经修改的运动规划和控制数据，驾驶所述无人驾驶车辆通过所述路径的所述多个路径段的装置。
根据又一个方面，提供了一种数据处理系统，该数据处理系统可包括根据本申请实施方式的操作无人驾驶车辆的装置。
附图说明
在附图的各个图中通过实例而非限制的方式示出本发明的实施方案，其中相同的参考数字指示相似的元件。
图1是示出根据本发明一个实施方案的网络化系统的框图。
图2是示出根据本发明一个实施方案的无人驾驶车辆的框图。
图3是示出根据本发明一个实施方案可与无人驾驶车辆一起利用的数据处理系统的框图。
图4是根据本发明一个实施方案可分割成多个路径段的驾驶路径的实例。
图5是示出根据本发明一个实施方案的驾驶场景数据库的实例的框图。
图6是示出根据本发明一个实施方案操作无人驾驶车辆的过程的流程图。
图7是示出根据本发明一个实施方案分析车辆的驾驶统计数据的过程的流程图。
图8是示出根据一个实施方案的数据处理系统的框图。
具体实施方式
将参照以下讨论的细节来描述本发明的各个实施方案和方面，并且附图将示出各个实施方案。以下描述和附图是本发明的说明，不应被解释为限制本发明。描述了许多具体细节以提供对本发明的各个实施方案的透彻理解。然而，在某些情况下，未描述公知或常规的细节以提供本发明实施方案的简明讨论。
在说明书中对“一个实施方案”或“实施方案”的引用意味着结合实施方案描述的特定特征、结构或特性可包括在本发明的至少一个实施方案中。在说明书中各处出现的短语“在一个实施方案中”不一定都指代相同的实施方案。
根据一些实施方案，针对某些预先定义的驾驶场景或驾驶情形捕获并记录各种人类驾驶员的驾驶行为。可在各种类型的车辆型号中捕获并记录人类驾驶员的驾驶行为。驾驶行为可包含油门行为、制动行为和/或转向行为等，其可使用各种传感器(例如，油门传感器、转向传感器、速度传感器、制动传感器)捕获。根据不同预先定义的驾驶场景建立驾驶场景数据库以存储对应于预先定义的驾驶场景的驾驶行为。这些驾驶行为可由车辆的称为驾驶参数的控制设置(例如，油门设置或命令、制动设置或命令、转向设置或命令等)表示。
数据库可例如基于大量不同人类驾驶员的驾驶行为由数据分析系统或服务器离线建立，以使所记录驾驶行为可表示普通人类驾驶员的驾驶行为或习惯。驾驶场景数据库是车辆特有数据库，即，基于人类驾驶员针对特定类型或型号的车辆的行为构建。驾驶场景数据库然后加载并存储于对应类型或型号的无人驾驶车辆内的存储设备中。
在无人驾驶车辆的实时自主驾驶期间，根据一个实施方案，当驾驶路线例如已由无人驾驶车辆的规划和控制模块规划时，分析所规划路线以将该路线的特定路径分割成一个或多个路径段。路径或路线的分割可使用预先确定的分割算法实施。针对路径段中的每一者，在驾驶场景数据库中实施搜索以例如基于由车辆控制系统的规划和控制模块提供的对应路径段的元数据找到匹配该路径段的对应驾驶场景。如果找到匹配驾驶场景，则利用与该匹配驾驶场景相关联的对应驾驶参数、而不是在运行时间由控制系统确定的驾驶参数来控制无人驾驶车辆在对应路径段内移动。由于预先定义的驾驶参数是基于实际人类驾驶员在相同或类似情况下的行为而确定的，因此通过对应路径段的自主驾驶接近于人类驾驶员的行为。因此，乘坐无人驾驶车辆的乘客将具有与实际人类驾驶的感觉相同或类似的感觉，可减少因自主驾驶导致的可能不舒适感觉。
图1是示出根据本发明的一个实施方案的无人驾驶车辆网络配置的框图。参考图1，网络配置100包含经由网络102以通信方式耦合到一个或多个服务器103-104的无人驾驶车辆101。虽然显示一个无人驾驶车辆，但多个无人驾驶车辆可经由网络102彼此耦合和/或耦合到服务器103-104。网络102可以是任何类型的有线或无线网络，例如局域网(LAN)、广域网(WAN)(例如因特网)、蜂窝网络、卫星网络或其组合。服务器103-104可以是任何种类的服务器或服务器集群，例如网络或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(POI)服务器或位置服务器等。
无人驾驶车辆是指可被配置成处于自主模式的车辆，在自主模式中，车辆在几乎没有来自驾驶员输入的情况下导航通过环境。此无人驾驶车辆可包含具有一个或多个传感器的传感器系统，这一个或多个传感器被配置成检测关于车辆操作的环境的信息。车辆及其相关联控制器使用所检测信息来导航通过该环境。无人驾驶车辆101可按手动模式、完全自主模式或部分自主模式操作。
在一个实施方案中，无人驾驶车辆101包含(但不限于)数据处理系统110、车辆控制系统111、无线通信系统112、用户接口系统113、信息娱乐系统114和传感器系统115。无人驾驶车辆101可进一步包含普通车辆中包含的某些共用组件，例如，发动机、车轮、转向盘、变速器等，其可由车辆控制系统111和/或数据处理系统110使用各种通信信号和/或命令(例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)控制。
组件110-115可经由互连件、总线、网络或其组合以通信方式彼此耦合。例如，组件110-115可经由控制器局域网(CAN)总线以通信方式彼此耦合。CAN总线是被设计成允许微控制器和设备在无主计算机的应用中彼此通信的车辆总线标准。其是基于消息的协议，最初设计用于汽车内的多路复用电气布线，但也在许多其它情境中使用。
现参考图2，在一个实施方案中，传感器系统115包含(但并不限于)一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214和光检测和测距(LIDAR)单元215。GPS系统212可包含可操作以提供关于无人驾驶车辆的位置的信息的收发器。IMU单元213可基于惯性加速度感测无人驾驶车辆的位置和取向改变。雷达单元214可表示利用无线电信号来感测无人驾驶车辆的本地环境内的对象的系统。在一些实施方案中，除感测对象以外，雷达单元214可另外感测对象的速度和/或行驶方向。LIDAR单元215可使用激光感测无人驾驶车辆所处环境中的对象。除其它系统组件之外，LIDAR单元215可还包含一个或多个激光源、激光扫描仪和一个或多个检测器。相机211可包含一个或多个用于捕获无人驾驶车辆周围的环境的图像的设备。相机211可以是静物相机和/或视频相机。相机可例如通过将该相机安装于旋转和/或倾斜平台上而可机械移动。
传感器系统115可进一步包含其它传感器，例如，声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如，麦克风)。音频传感器可被配置成捕获来自无人驾驶车辆周围的环境的声音。转向传感器可被配置成感测转向盘的转向角度、车辆的车轮或其组合。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可集成为集成的油门/制动传感器。
在一个实施方案中，车辆控制系统111包含(但不限于)转向单元201、油门单元202(也称为加速单元)、制动单元203、计算机视觉系统204、导航单元205(也称为导航和路径控制或导航/路径控制系统)和碰撞回避单元206(也称为障碍物回避系统)。转向单元201用于调整车辆的方向或行驶方向。油门单元202用于控制电机或发动机的速度，此又因此控制车辆的速度和加速度。制动单元203用于通过提供摩擦来使车辆的车轮或轮胎减速来使车辆减速。
计算机视觉单元或系统204用于处理并分析由一个或多个相机211捕获的图像，以识别无人驾驶车辆的环境中的对象和/或特征。这些对象可包含交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统204可使用对象辨识算法、视频跟踪和其它计算机视觉技术。在一些实施方案中，计算机视觉系统204可映射环境、跟踪对象并估计对象的速度等。
导航单元或系统205用于确定无人驾驶车辆的驾驶路径。例如，导航系统可确定一系列速度和行驶方向以实现无人驾驶车辆沿着基本上回避所感知障碍物的路径的移动，同时通常使无人驾驶车辆沿着通向最终目的地的基于道路的路径前进。目的地可根据经由用户接口的用户输入设置。导航系统205可在无人驾驶车辆运转的同时动态更新驾驶路径。导航系统205可并入来自GPS系统和一个或多个地图的数据，以确定无人驾驶车辆的驾驶路径。
碰撞回避单元或系统206用于识别、评估和回避或以其它方式协商无人驾驶车辆的环境中的潜在障碍物。例如，碰撞回避系统206可通过操作控制系统中的一个或多个子系统以进行突然转向操纵、转弯操纵、制动操纵等来实现无人驾驶车辆的导航的改变。碰撞回避系统206可基于周围交通模式、道路条件等自动确定可行的障碍物回避操纵。碰撞回避系统206可被配置成使得当其他传感器系统在无人驾驶车辆将突然转向到的相邻区域中检测到车辆、建筑障碍物等时，不进行突然转向操纵。碰撞回避系统206可自动选择既可用又最大化无人驾驶车辆的乘客安全性的操纵。碰撞回避系统206可选择预测为在无人驾驶车辆的乘客舱中导致最小量加速度的回避操纵。注意，如图2中所示的组件可以硬件、软件或其组合实现。
参考回到图1，无线通信系统112用于允许无人驾驶车辆101与外部系统(例如设备、传感器、其它车辆等)之间的通信。例如，无线通信系统112可直接或经由通信网络与一个或多个设备以无线方式通信，例如经由网络102与服务器103-104以无线方式通信。无线通信系统112可使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使用WiFi来与另一组件或系统通信。无线通信系统112可例如使用红外链路、蓝牙等与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)直接通信。用户接口系统113可以是构建于车辆101内的外围设备(例如包含键盘、触摸屏显示设备、麦克风和扬声器等)的一部分。
无人驾驶车辆101的所有功能中的一些功能可由数据处理系统110控制或管理，尤其是在按自主驾驶模式操作时。数据处理系统110包含必需硬件(例如，处理器、存储器、存储装置)和软件(例如，操作系统、规划和路线规定程序)以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收信息，规划从出发点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。另一选择为，数据处理系统110可与车辆控制系统111集成在一起。
例如，作为乘客的用户可例如经由用户接口指定行程的出发位置和目的地。数据处理系统110与无人驾驶车辆101的其它组件通信以获得行程相关数据。例如，数据处理系统110可从位置服务器以及地图和POI(MPOI)服务器(其可以是服务器103-104的一部分，例如图3所示的地图和MPOI数据库323)获得位置和路线信息。位置服务器提供位置服务，并且MPOI服务器105提供地图服务和某些位置的POI。另一选择为，此位置和MPOI信息可本地高速缓存在数据处理系统110的永久存储设备中。
在无人驾驶车辆101沿着路线的行进期间，数据处理系统110可还从交通信息系统或服务器(TIS)获得实时交通信息。注意，服务器103-104可由第三方实体操作。另一选择为，服务器103-104的功能可与数据处理系统110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测或感测到的实时本地环境数据(例如，障碍物、对象、附近车辆)，数据处理系统110可规划最佳路线并根据所规划路线(例如)经由控制系统111驾驶车辆101以安全且高效地到达指定目的地。
根据一个实施方案，无人驾驶车辆101进一步包含信息娱乐系统114以向车辆101的乘客提供信息和娱乐。信息和娱乐内容可基于本地和/或远程存储的内容信息(例如，由服务器103-104提供)接收、编译和渲染。例如，该信息可经由网络102从服务器103-104中的任一个实时流式传输并显示于车辆101的显示设备上。该信息可例如借助由一个或多个相机实时捕获的本地信息而增强，并且经增强的内容然后可以虚拟现实方式显示。
在无人驾驶车辆中，可能没有实际或物理窗口。相反，“窗口”(本文中称为虚拟窗口)可由显示设备表示或替换，所述显示设备即模制成车窗形状的扁平或弯曲屏幕显示设备，可选地具有触摸屏。该显示设备将显示由一个或多个合适相机实时动态捕获的图像或图像流(例如，视频)，就好像用户正通过透视窗口观看或观察实际的物理内容一样。针对这些“窗口”(例如，显示设备)中的每一个，存在对应显示信道来流式传输要实时显示的对应内容，其可由增强现实系统(例如，信息娱乐系统114和/或数据处理系统110)集中处理。在此情况下，经增强图像经由信息娱乐系统114以虚拟现实方式(也称为增强现实方式)显示。
例如，从内容数据库或者从远程内容提供商或内容服务器接收的内容项目可叠加到由相机本地捕获的图像上以变成经增强图像。经增强图像然后显示于无人驾驶车辆101内的显示设备上。显示设备可被配置成看似车辆的普通窗口。当用户观看显示设备时，图像的对象以虚拟现实方式显示为虚拟对象，就好像用户通过普通车窗观看物理对象一样。显示设备可实时显示经增强图像流(例如，经增强视频)，其类似或模拟增强现实(AR)环境。
在一个实施方案中，基于位置和路线信息、MPOI信息和/或实时交通信息，信息娱乐系统114和/或数据处理系统110确定适于当前交通环境的某些类型的内容(例如，MPOI)。系统例如基于实时行进信息在内容索引(未显示)中实施查找操作以识别内容项目列表(例如，赞助内容或广告)作为候选内容项目。
在一个实施方案中，系统使用各种排名算法对列表中的内容项目进行排名。这些内容项目可基于用户的用户简档而排名。例如，这些内容项目可基于用户偏好(其可得自用户简档)排名。用户简档可基于用户过去的用户操作的历史记录而编译。在一个实施方案中，系统将一个或多个内容排名模型应用于这些内容项目中的每一个以确定每一内容项目的排名分数。可选择具有高于预先确定阈值的排名分数的内容项目。可使用表示类似行进环境或过去交通状况的若干组已知特征来训练这些内容排名模型。还可基于类似用户的用户简档来训练这些内容排名模型。
所选内容项目然后渲染并显示于无人驾驶车辆内的显示设备上。在一个实施方案中，该系统将所选内容项目进一步增强到使用无人驾驶车辆的一个或多个相机在该时间点捕获的图像上。在一个实施方案中，对该图像实施图像辨识并得到或理解由该图像表示的内容。例如，可得到一个或多个关键字来描述图像或POI。可进一步基于这一个或多个关键字或者由图像表示的POI识别该内容项目列表。该系统然后将所选内容项目增强到图像上以生成经增强图像，其中该内容项目可叠加于该图像上。经增强图像然后显示于无人驾驶车辆的显示设备上。注意，根据一些实施方案，信息娱乐系统114可与数据处理系统110集成在一起。
另一选择为，用户可具体地从来自内容存储库(例如图3所示的内容存储库322)或数据库的预编译内容(例如，视频、电影)的列表进行选择，该内容存储库或数据库可经由网络(例如，云网络)从内容提供商的内容服务器周期性更新。因此，用户可具体地选择实时捕获的实时实际内容或先前渲染的内容显示于显示设备上，例如，从数据存储库125检索。例如，如果无人驾驶车辆101正在纽约市的下雪天行进，则用户可将显示设备切换为显示夏威夷的晴朗环境，就好像无人驾驶车辆101正在晴天行进一样。内容可以协作或协调方式(即，虚拟现实方式)显示于多个显示设备(例如，多个窗口)中。
参考回到图1，根据一个实施方案，针对某些预先定义的驾驶场景或驾驶情形捕获并记录各种车辆的各种人类驾驶员的驾驶行为。一个驾驶情形例如可以是在100米内加速5英里/小时(mph)，然后维持速度并驾驶100米，然后在100米内减速10mph，然后以40mph在100米内合并到右侧车道上，然后以20mph在50米内合并到右侧车道上，然后以40mph在100米内合并到左侧车道上，然后以20mph在50米内合并到左侧车道上等。
驾驶场景的驾驶行为由数据分析系统或服务器103的数据收集模块121从车辆收集。可在各种类型的车辆型号中捕获并记录人类驾驶员的驾驶行为。驾驶行为可包含油门行为、制动行为和/或转向行为等，其可使用各种传感器(例如，油门传感器、转向传感器、速度传感器、制动传感器)捕获。根据不同预先定义的驾驶场景建立驾驶场景数据库以存储对应于预先定义的驾驶场景的驾驶行为。这些驾驶行为可由车辆的控制设置或驾驶参数(例如，油门设置或命令、制动设置或命令、转向设置或命令等)表示。
由分析模块122和驾驶场景数据库125分析的驾驶行为可基于大量不同人类驾驶员的驾驶行为而离线建立，以使所记录驾驶行为可表示驾驶相同或类似类型或型号的车辆的普通人类驾驶员的驾驶行为或习惯。驾驶场景数据库125是车辆特有数据库，即，基于人类驾驶员针对特定类型或型号的车辆的行为构建。驾驶场景数据库125然后加载并存储于对应类型或型号的无人驾驶车辆(例如无人驾驶车辆101)内的存储设备中。
图3是示出根据一个实施方案可与无人驾驶车辆一起利用的数据处理系统的框图。系统300可构建为图1的数据处理系统110的一部分。参考图3，系统300包含运动规划模块311、运动控制模块312、分析模块313和可选的内容呈现模块314。这些模块可以软件、硬件或其组合实现。例如，模块311-314可加载于存储器301中并由一个或多个处理器(未显示)执行。规划模块311用于基于各种信息(例如，从传感器系统115接收的传感器数据和/或从各种源接收的实时信息(例如，位置、地图、POI))规划无人驾驶车辆的路径或路线。规划模块311生成规划和控制数据。基于该规划和控制数据，控制模块312用于通过根据由该规划和控制数据定义的路线或路径向车辆控制系统111发送适当命令或信号来控制车辆。该规划和控制数据包含足够信息以使用在沿着一路径或路线的不同时间点的某些适当车辆设置或驾驶参数(例如，油门、制动和转弯命令)将车辆从该路线或路径的第一点驾驶到第二点。注意，规划模块311和控制模块312可以通信方式耦合到图2的车辆控制系统111的导航单元205或与图2的车辆控制系统111的导航单元205集成在一起。
根据一个实施方案，当规划模块311生成沿着一路线的路径的规划和控制数据时，调用路径/路线分析模块313来对该规划和控制数据实施分析。分析模块313基于作为规划和控制数据一部分的路径元数据将该路径分割成多个路径段。路径例如可基于该路径的不同部分的特性或驾驶参数使用预先确定的路径分割算法分割。路径元数据可通过指定不同时间点的相关驾驶参数或设置来描述应如何在沿着该路径的不同时间点驾驶车辆。这些驾驶参数或设置可包含(但不限于)速度、加速度或油门、减速度、方向或转弯角度、制动参数等。分析模块313可基于以上驾驶参数的改变来辨识沿着路径的驾驶情形的改变。
针对路径段中的每一路径段，分析模块313在驾驶场景数据库321中实施查找操作以识别匹配该路径段的驾驶特性(例如，相同或类似速度、加速度，减速度、方向、转弯角度和/或制动)的驾驶场景。驾驶场景数据库321可由数据分析系统(例如，图1的数据分析系统或服务器103)离线地先前配置，存储于永久存储设备302中，并在运行时间加载到存储器301中。
在一个实施方案中，驾驶场景数据库321包含多个条目，每一条目将特定驾驶场景映射到一个或多个驾驶参数或设置的集合。驾驶场景数据库321中列举的驾驶场景可以是常发生的那些驾驶场景。可基于驾驶相同或类似类型或型号的车辆的大量人类驾驶员的行为识别这些驾驶场景的驾驶参数或设置。注意，驾驶场景数据库321是基于每个车辆的数据库，并具体地针对特定车辆的类型或型号创建。不同类型或型号的车辆可具有包含不同驾驶场景及其相应驾驶参数的不同驾驶场景数据库。
在一个实施方案中，如果存在匹配条目，则可利用存储于驾驶场景数据库321的匹配条目中的驾驶参数或设置的至少一部分来替换或修改与由规划模块311提供的路径段对应的驾驶参数或设置。在一个实施方案中，如果未找到匹配条目，则可将由规划模块311产生的驾驶参数或设置用于该特定路径段。此后，控制模块312然后在沿着路径的不同时间点向控制系统111发出命令以根据经修改的驾驶参数或设置驾驶车辆。由于预先定义的车辆设置或控制参数是基于实际人类驾驶员在相同或类似情况下的行为而确定的，因此通过对应路径段的自主驾驶接近于或模仿人类驾驶员在这些情况下的行为。因此，乘坐无人驾驶车辆的乘客将具有与实际人类驾驶的感觉相同或类似的感觉，可减少因自主驾驶导致的可能不舒适感觉。
图4是根据本发明一个实施方案可分割成多个路径段的驾驶路径的实例。参考图4，在此实例中，车辆将在100米内从50英里/小时(mph)减速到40mph，维持40mph的速度达100米，并以40mph在100米内合并到右侧车道。路径/路线分析模块313分析路径400并例如基于不同时间点的更改车道的速度、加速度，减速度和转弯角度等辨识这些路径段401-403。分析模块313可通过匹配一组预先确定的驾驶模式或使用预先确定的分割算法来辨识这些特性。针对路径段401-403中的每一路径段，分析模块313在驾驶场景数据库321中实施查找操作以定位任何可能的匹配驾驶场景并修改对应于路径段401-403的规划和控制数据的驾驶参数。
在一个实施方案中，分析模块313可将由规划模块311提供的相同或类似驾驶参数与驾驶场景数据库400中列举的那些驾驶参数进行匹配以识别匹配条目。在此实例中，分析模块313可识别车辆在100米内从50mph减速到40mph的第一驾驶场景，车辆在100米内维持40mph的相同速度的第二驾驶场景，和车辆在100米内改变到右侧车道并从40mph加速到50mph的第三驾驶场景。在第三驾驶场景中，还可例如在计算转弯角度时考虑两个车道之间的距离或车道的宽度。基于这三个驾驶场景，从驾驶场景数据库400的匹配条目获得预先配置的驾驶参数。这些预先配置的驾驶参数可用于替换或修改由规划模块311提供的对应驾驶参数。然后利用经修改的规划和控制数据来驾驶无人驾驶车辆。
图5是示出根据本发明一个实施方案的驾驶场景数据库的实例的框图。参考图5，数据结构500可构建为图3的驾驶场景数据库321的一部分。在一个实施方案中，驾驶场景表500包含多个映射条目，每一映射条目将特定驾驶场景501映射到一组驾驶参数或设置502。注意，虽然驾驶场景数据结构500显示为映射表，但其可按各种格式构建。
图6是示出根据本发明的一个实施方案操作无人驾驶车辆的过程的流程图。过程600可由可包含软件、硬件或其组合的处理逻辑实施。例如，过程600可由图3的系统300实施。参考图6，在框601处，处理逻辑例如从运动规划模块接收规划和控制数据。该规划和控制数据指示无人驾驶车辆将从路径或路线的第一点移动到第二点。在框602处，处理逻辑使用路径分割算法或方法基于规划和控制数据的元数据将路径分割成多个路径段(也称为路线段)。
针对所述路径段中的每一者，在框603处，处理逻辑基于规划和控制数据在驾驶场景数据库中进行搜索以识别匹配该路径段的驾驶场景。在框604处，处理逻辑从驾驶场景数据库的匹配该路径段的特性的条目检索预先配置的驾驶参数。在框605处，处理逻辑基于这些预先配置的驾驶参数替换或修改对应于该路径段的规划和控制数据的驾驶参数。在框606处，处理逻辑将合适命令或指令发射到车辆的控制系统以驾驶该车辆通过所述路径的路径段，每一命令或指令基于对应路径段的经修改的驾驶参数。
图7是示出根据本发明一个实施方案分析车辆的驾驶统计数据的过程的流程图。过程700可由可包含软件、硬件或其组合的处理逻辑实施。例如，过程700可由图1的数据分析系统103实施。参考图7，在框701处，处理逻辑接收由多个人类驾驶员驾驶通过多个路径或路线的多个车辆的驾驶参数。可使用安装于车辆中的各种传感器(例如，速度传感器、转向传感器、油门传感器等)监视和收集这些驾驶参数。在框702处，处理逻辑基于车辆的驾驶参数分析人类驾驶员的驾驶行为以定义表示路径/路线的路径/路线段的多个驾驶场景。针对这些驾驶场景中的每一个，在框703处，处理逻辑基于人类驾驶员的行为确定该驾驶场景的最佳驾驶参数集合。在框704处，处理逻辑在驾驶场景数据库中针对驾驶场景创建条目以存储对应驾驶场景的最佳驾驶参数集合。驾驶场景数据库包含多个条目，每一条目将驾驶场景映射到一个或多个预先配置的驾驶参数的集合。该驾驶场景数据库具体来说针对特定车辆的类型或型号创建。可针对不同车辆的不同类型或型号创建多个驾驶场景数据库。驾驶场景数据库可然后加载到无人驾驶车辆的对应类型或型号中并可经由网络从云周期性更新。
注意，如上文所示和描述的组件中的一些或全部组件可以软件、硬件或其组合实现。例如，此类组件可实现为安装并存储于永久存储设备中的软件，其可由处理器(未显示)加载并在存储器中执行，以便执行在此申请通篇中描述的过程或操作。另一选择为，此类组件可实现为编程或嵌入到专用硬件(例如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))的可执行代码，其可经由对应驾驶员和/或操作系统从应用访问。此外，此类组件可实现为处理器或处理器内核中的特定硬件逻辑，作为可由软件组件经由一个或多个特定指令访问的指令集的一部分。
图8是示出可与本发明的一个实施方式一起使用的数据处理系统的示例的框图。例如，系统1500可表示执行任一上述过程或方法的任一上述数据处理系统，例如图1的数据处理系统110或服务器103-104中的任一个。系统1500可包括许多不同的组件。这些组件可以实施为集成电路(IC)、集成电路的部分、分立的电子设备或适用于电路板的其它模块(诸如计算机系统的主板或插卡)，或者实施为以其它方式并入计算机系统的机架内的组件。
还应注意，系统1500旨在示出计算机系统的许多组件的高层次视图。然而，应当理解的是，某些实现方式中可存在额外的组件，此外，其它实现方式中可出现与所示组件不同的布置。系统1500可表示台式计算机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏设备、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，虽然仅示出了单个机器或系统，但是术语“机器”或“系统”还应当被理解为包括单独地或共同地执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的机器或系统的任何组合。
在一个实施方式中，系统1500包括经由总线或互连件1510连接的处理器1501、存储器1503以及设备1505-1508。处理器1501可表示包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。处理器1501可表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更具体地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令词语(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协处理器、嵌入式处理器或能够处理指令的任何其它类型的逻辑。
处理器1501(其可以是低功率多核处理器套接，诸如超低电压处理器)可用作与系统的各种组件通信的主处理单元和中央集线器。这种处理器可以实施为片上系统(SoC)。处理器1501被配置成执行指令以执行本文所讨论的操作和步骤。系统1500还可包括与可选的图形子系统(显示控制器和/或显示设备)1504通信的图形接口，图形子系统1504可包括显示控制器、图形处理器和/或显示设备。
处理器1501可与存储器1503通信，存储器1503在一个实施方式中可以经由多个存储器设备实施以提供给定量的系统存储。存储器1503可包括一个或多个易失性存储(或存储器)设备，诸如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或其它类型的存储设备。存储器1503可存储包括由处理器1501或任何其它设备执行的指令序列的信息。例如，多种操作系统、设备驱动器、固件(例如，基本输入输出系统或BIOS)和/或应用的可执行代码和/或数据可以加载在存储器1503中并由处理器1501执行。操作系统可以是任何类型的操作系统，例如像来自公司的操作系统、来自苹果公司的Mac来自公司的或其它实时或嵌入式操作系统(诸如VxWorks)。
系统1500还可包括I/O设备，诸如设备1505-1508，包括网络接口设备1505、可选的输入设备1506以及其它可选的I/O设备1507。网络接口设备1505可包括无线收发器和/或网络接口卡(NIC)。无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其它射频(RF)收发器或其组合。NIC可以是以太网卡。
输入设备1506可包括鼠标、触摸板、触敏屏幕(其可以与显示设备1504整合在一起)、定点设备(诸如手写笔)和/或键盘(例如，物理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入设备1506可包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器可例如使用多种触敏技术(包括但不限于电容性、电阻性、红外和表面声波技术)中的任一种以及使用用于确定与触摸屏的一个或多个接触点的其它近邻传感器阵列或其它元件来检测其接触、移动或间断。
I/O设备1507可包括音频设备。音频设备可包括扬声器和/或麦克风，以协助支持语音的功能，诸如语音辨识、语音复制、数字记录和/或电话功能。其它I/O设备1507还可包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，诸如加速度计的运动传感器、陀螺仪、磁强计、光传感器、罗盘、近邻传感器等)或其组合。设备1507还可包括成像处理子系统(例如，摄像机)，成像处理子系统可包括用来协助摄像机功能(诸如记录照片和视频片段)的光学传感器，诸如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)光学传感器。某些传感器可经由传感器集线器(未示出)联接到互连件1510，而其它设备(诸如，键盘或热传感器)可由嵌入式控制器(未示出)控制，这取决于系统1500的具体配置或具体设计。
为了提供对信息(诸如，数据、应用、一个或多个操作系统等)的永久性存储，大容量存储设备(未示出)也可联接到处理器1501。在各种实施方式中，为了实施更薄且更轻的系统设计并且改进系统响应能力，这种大容量存储设备可经由固态设备(SSD)实施。然而，在其它实施方式中，大容量存储设备可主要使用硬盘驱动器(HDD)来实施，其中较少量的SSD存储设备充当SSD高速缓存以在断电事件期间实施对上下文状态以及其它此类信息的非易失性存储，从而使得在系统活动重新启动时能够实施快速上电。另外，闪存设备可例如经由串行外围接口(SPI)联接到处理器1501。这种闪存设备可提供系统软件的非易失性存储，系统软件包括系统的BIOS以及其它固件。
存储设备1508可包括计算机可访问的存储介质1509(也被称为机器可读存储介质或计算机可读介质)，其上存储有实现任何一种或多种本文所描述的方法或功能的一组或多组指令或软件(例如，模块、单元和/或逻辑1528)。模块/单元/逻辑1528可表示任一上述组件。模块/单元/逻辑1528还可在其被数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻存在存储器1503内和/或处理器1501内，从而也构成机器可访问的存储介质。模块/单元/逻辑1528还可通过网络经由网络接口设备1505被发送或接收。
计算机可读存储介质1509也可用来永久性地存储以上描述的一些软件功能。虽然计算机可读存储介质1509在示例性实施方式中被示为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码一组或多组指令的任何介质，该一组或多组指令由机器执行并且致使机器执行本发明的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质或者任何其它非暂时性机器可读介质。
本文所述的模块/单元/逻辑1528、组件以及其它特征可以实施为分立的硬件组件或整合在诸如ASICS、FPGA、DSP或类似设备的硬件组件的功能中。另外，模块/单元/逻辑1528可以实施为硬件设备内的固件或功能电路。此外，模块/单元/逻辑1528可以以硬件设备和软件组件的任何组合的形式实施。
应注意，虽然系统1500被示出为具有数据处理系统的各种组件，但是其不旨在表示任何特定的架构或组件互连的方式；因为此类细节和本发明的实施方式没有密切关系。还应当认识到，具有更少组件或可能具有更多组件的网络计算机、手持计算机、移动电话、服务器和/或其它数据处理系统也可与本发明的实施方式一起使用。
前述详细描述中的一些部分已经依据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域的技术人员所使用的方法，从而将他们工作的实质内容最有效地传达给该领域中的其他技术人员。这里，算法通常被认为是导致所期望结果的自洽的操作序列。这些操作是需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些术语和类似的术语均意图与适当的物理量相关联，并且仅仅是适于这些物理量的适宜标记。应当了解，除非在以上讨论中另外明确地说明，否则，在本说明书全文中，利用术语(诸如以下权利要求书中所阐述的术语)的讨论是指计算机系统或类似电子计算设备的动作和处理，计算机系统或类似电子计算设备操控计算机系统的寄存器和存储器中的表示为物理(例如，电子)量的数据，并将该数据变换成计算机系统存储器或寄存器或其它此类信息存储器、传输或显示设备内类似地表示为物理量的其它数据。
本发明的实施方案还涉及用于执行本文中的操作的装置。这些计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于存储具有机器(例如计算机)可读形式的信息的任何机构。例如，机器可读(例如计算机可读)介质包括机器(例如计算机)可读的存储介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或其组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所描述的一些操作可按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。
本发明的实施方案并未参考任何特定的编程语言来描述。可以理解，各种编程语言可被用来实现本文描述的本发明实施方案的教导。
在以上的说明中，已经参考本发明的特定示例性实施方式对本发明的实施方式进行了描述。将显而易见的是：在不脱离如以下权利要求书中阐述的本发明的更宽泛的精神和范围的情况下，可对其作出各种修改。因此，应当以说明性含义而不是限制性含义来理解本说明书和附图。

Claims (15)

1.一种用于操作无人驾驶车辆的计算机实现的方法，所述方法包括：
接收运动规划和控制数据，所述运动规划和控制数据指示无人驾驶车辆将在预先确定的路线内从路径的第一点移动到第二点；
响应于所述运动规划和控制数据，将从所述第一点到所述第二点的路径分割成多个路径段；
针对所述多个路径段中的每一路径段，识别多个预先确定的驾驶场景中与对应路径段的运动特性相匹配的一个驾驶场景；
基于所述多个路径段的预先确定的运动设置，修改与所述多个路径段相关联的运动规划和控制数据；以及
基于经修改的运动规划和控制数据，驾驶所述无人驾驶车辆通过所述路径的所述多个路径段。
2.根据权利要求1所述的方法，其中，识别多个预先确定的驾驶场景中与对应路径段的运动特性相匹配的一个驾驶场景包括：
在驾驶场景数据库中进行搜索以识别与所述对应路径段的运动特性相匹配的驾驶场景，其中所述驾驶场景数据库存储描述已先前配置的多个驾驶场景的元数据；以及
从所述驾驶场景数据库获得与所对应的驾驶场景相对应的所述预先确定的运动设置。
3.根据权利要求2所述的方法，其中，所述驾驶场景数据库包含多个条目，每一条目使表示一个或多个运动特性的一个或多个属性映射到所述无人驾驶车辆的一个或多个运动设置构成的集合。
4.根据权利要求3所述的方法，其中，所述运动设置包括所述驾驶场景内不同时间点的油门参数、制动参数和转向盘角度中的至少一者。
5.根据权利要求3所述的方法，其中，在所述驾驶场景数据库中列举的驾驶场景的运动设置基于在类似于路径段的驾驶情形下捕获的多个人类驾驶员的人类驾驶行为来配置。
6.根据权利要求5所述的方法，其中，所述人类驾驶行为从与所述无人驾驶车辆具有相同型号或类似型号的多个车辆收集并分析。
7.根据权利要求2所述的方法，其中，所述运动规划和控制数据仅针对与所述驾驶场景数据库中列举的驾驶场景相匹配的路径段修改，而剩余的运动规划和控制数据不修改。
8.一种操作无人驾驶车辆的装置，包括：
接收运动规划和控制数据的装置，所述运动规划和控制数据指示无人驾驶车辆将在预先确定的路线内从路径的第一点移动到第二点；
响应于所述运动规划和控制数据，将从所述第一点到所述第二点的路径分割成多个路径段的装置；
针对所述多个路径段中的每一路径段，识别多个预先确定的驾驶场景中与对应路径段的运动特性相匹配的一个驾驶场景的装置；
基于所述多个路径段的预先确定的运动设置，修改与所述多个路径段相关联的运动规划和控制数据的装置；以及
基于经修改的运动规划和控制数据，驾驶所述无人驾驶车辆通过所述路径的所述多个路径段的装置。
9.根据权利要求8所述的操作无人驾驶车辆的装置，其中，识别多个预先确定的驾驶场景中与对应路径段的运动特性相匹配的一个驾驶场景的装置包括：
在驾驶场景数据库中进行搜索以识别与所述对应路径段的运动特性相匹配的驾驶场景的装置，其中所述驾驶场景数据库存储描述已先前配置的多个驾驶场景的元数据；以及
从所述驾驶场景数据库获得与所对应的驾驶场景相对应的所述预先确定的运动设置的装置。
10.根据权利要求9所述的操作无人驾驶车辆的装置，其中，所述驾驶场景数据库包含多个条目，每一条目使表示一个或多个运动特性的一个或多个属性映射到所述无人驾驶车辆的一个或多个运动设置构成的集合。
11.根据权利要求10所述的操作无人驾驶车辆的装置，其中，所述运动设置包括所述驾驶场景内不同时间点的油门参数、制动参数和转向盘角度中的至少一者。
12.根据权利要求10所述的操作无人驾驶车辆的装置，其中，在所述驾驶场景数据库中列举的驾驶场景的运动设置基于在类似于路径段的驾驶情形下捕获的多个人类驾驶员的人类驾驶行为来配置。
13.根据权利要求12所述的操作无人驾驶车辆的装置，其中，所述人类驾驶行为从与所述无人驾驶车辆具有相同型号或类似型号的多个车辆收集并分析。
14.根据权利要求9所述的操作无人驾驶车辆的装置，其中所述运动规划和控制数据仅针对与所述驾驶场景数据库中列举的驾驶场景相匹配的路径段修改，而剩余运动规划和控制数据不修改。
15.一种数据处理系统，包括如权利要求8至14中任一项所述的操作无人驾驶车辆的装置。
CN201710203452.3A 2016-07-05 2017-03-30 操作无人驾驶车辆的方法、装置和数据处理系统 Active CN107577227B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/202,542 2016-07-05
US15/202,542 US10331138B2 (en) 2016-07-05 2016-07-05 Standard scene-based planning control methods for operating autonomous vehicles

Publications (2)

Publication Number Publication Date
CN107577227A true CN107577227A (zh) 2018-01-12
CN107577227B CN107577227B (zh) 2021-07-30

Family

ID=60910397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710203452.3A Active CN107577227B (zh) 2016-07-05 2017-03-30 操作无人驾驶车辆的方法、装置和数据处理系统

Country Status (2)

Country Link
US (1) US10331138B2 (zh)
CN (1) CN107577227B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256233A (zh) * 2018-01-18 2018-07-06 中国第汽车股份有限公司 基于驾驶员风格的智能车轨迹规划及跟踪方法和系统
CN108733046A (zh) * 2017-04-20 2018-11-02 百度（美国）有限责任公司 用于自动驾驶车辆的轨迹重新规划的系统和方法
CN109920296A (zh) * 2019-03-26 2019-06-21 杭州合学教育科技有限公司 汽车教具运行方法及装置、计算机可读存储介质和终端
CN110058517A (zh) * 2018-01-19 2019-07-26 通用电气航空系统有限责任公司 无人驾驶载具控制系统
CN110244728A (zh) * 2019-06-17 2019-09-17 北京三快在线科技有限公司 确定无人驾驶控制策略的方法、装置、设备及存储介质
CN110378483A (zh) * 2018-04-12 2019-10-25 百度（美国）有限责任公司 部署在模拟平台上的用于训练机器学习模型的系统和方法
CN110389549A (zh) * 2018-04-17 2019-10-29 通用汽车环球科技运作有限责任公司 智能电动自行车的自适应踏板辅助系统和控制逻辑
CN111033423A (zh) * 2018-04-18 2020-04-17 百度时代网络技术（北京）有限公司 用于评估自动驾驶车辆的定位系统的方法
CN111256714A (zh) * 2018-11-30 2020-06-09 北汽福田汽车股份有限公司 路径规划方法、装置及车辆
CN111684379A (zh) * 2018-12-26 2020-09-18 百度时代网络技术（北京）有限公司 自动驾驶车辆的三点转弯的最优规划器切换方法
CN111902782A (zh) * 2018-02-26 2020-11-06 北美日产公司 集中式共享自主运载工具操作管理
CN112203918A (zh) * 2018-05-31 2021-01-08 北美日产公司 轨迹规划
WO2021058010A1 (zh) * 2019-09-29 2021-04-01 杭州海康机器人技术有限公司 自动导引运输车行走控制方法及装置
CN112721909A (zh) * 2021-01-27 2021-04-30 浙江吉利控股集团有限公司 一种车辆的控制方法、控制系统及车辆
CN113204236A (zh) * 2021-04-14 2021-08-03 华中科技大学 一种智能体路径跟踪控制方法
CN113272034A (zh) * 2018-11-30 2021-08-17 奥迪股份公司 用于运行虚拟现实输出设备的方法、同步装置、机动车
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
CN114764454A (zh) * 2020-12-31 2022-07-19 北汽福田汽车股份有限公司 驾驶场景生成方法、装置、存储介质、电子设备及车辆
US11500380B2 (en) 2017-02-10 2022-11-15 Nissan North America, Inc. Autonomous vehicle operational management including operating a partially observable Markov decision process model instance
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11702070B2 (en) 2017-10-31 2023-07-18 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418743B (zh) 2017-02-10 2022-10-04 日产北美公司 自主车辆运行管理阻碍监测
JP6753358B2 (ja) * 2017-05-31 2020-09-09 トヨタ自動車株式会社 車両制御装置
EP3580625B1 (en) * 2017-09-18 2024-02-14 Baidu.com Times Technology (Beijing) Co., Ltd. Driving scenario based lane guidelines for path planning of autonomous driving vehicles
US11027751B2 (en) * 2017-10-31 2021-06-08 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
MX2020004378A (es) 2017-11-30 2020-08-20 Nissan North America Inc Escenarios de gestion operacional de vehiculo autonomo.
US11919531B2 (en) * 2018-01-31 2024-03-05 Direct Current Capital LLC Method for customizing motion characteristics of an autonomous vehicle for a user
IT201800003312A1 (it) * 2018-03-06 2019-09-06 Fiat Ricerche Guida autonoma di autoveicoli per l'esecuzione di manovre ricorrenti a bassa velocita'
US10782699B2 (en) * 2018-03-10 2020-09-22 Baidu Usa Llc Real-time perception adjustment and driving adaption based on surrounding vehicles' behavior for autonomous driving vehicles
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
US11899464B2 (en) * 2018-12-18 2024-02-13 Motional Ad Llc Operation of a vehicle using motion planning with machine learning
EP3734569A1 (en) * 2019-04-30 2020-11-04 Argo AI GmbH Method, system, backend server and observation-unit for supporting at least one self-driving vehicle in coping with a characteristic behavior of local traffic in a respective specific area and corresponding self-driving vehicle operable according to the driving strategy
US11740628B2 (en) * 2020-03-18 2023-08-29 Baidu Usa Llc Scenario based control of autonomous driving vehicle
CN111611175B (zh) * 2020-06-01 2023-05-26 深圳安途智行科技有限公司 自动驾驶软件开发方法、服务器端及客户端
US11927967B2 (en) * 2020-08-31 2024-03-12 Woven By Toyota, U.S., Inc. Using machine learning models for generating human-like trajectories
CN112508223A (zh) * 2020-09-28 2021-03-16 西安航空学院 一种基于仿生群体控制的定位运动控制方法
CN112565468B (zh) * 2021-02-22 2021-08-31 华为技术有限公司 一种驾驶场景识别方法及其系统
JP2022142175A (ja) * 2021-03-16 2022-09-30 トヨタ自動車株式会社 移動経路算出装置、移動体制御システム、移動経路算出方法、及び、移動経路算出プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534123A (zh) * 2011-02-18 2014-01-22 捷豹路虎有限公司 车辆和控制车辆的方法和系统
CN104848867A (zh) * 2015-05-13 2015-08-19 北京工业大学 基于视觉筛选的无人驾驶汽车组合导航方法
CN104915967A (zh) * 2015-05-08 2015-09-16 南京邮电大学 一种隧道内车辆运动路径的预测方法
CN105573325A (zh) * 2016-01-22 2016-05-11 深圳市万兴利民科技有限公司 无人驾驶自行车的控制方法及系统
US20160171885A1 (en) * 2014-12-10 2016-06-16 Here Global B.V. Method and apparatus for predicting driving behavior

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8182469B2 (en) * 1997-11-21 2012-05-22 Intuitive Surgical Operations, Inc. Surgical accessory clamp and method
US6092010A (en) * 1997-09-03 2000-07-18 Jervis B. Webb Company Method and system for describing, generating and checking non-wire guidepaths for automatic guided vehicles
WO2010068004A2 (en) * 2008-12-12 2010-06-17 Rebo Surgical instrument
JP5474254B2 (ja) * 2011-02-24 2014-04-16 三菱電機株式会社 ナビゲーション装置、推奨速度演算装置及び推奨速度提示装置
WO2013123455A1 (en) * 2012-02-15 2013-08-22 Intuitive Surgical Operations, Inc. Low friction cannula seals for minimally invasive robotic surgery
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US9820818B2 (en) * 2012-08-03 2017-11-21 Stryker Corporation System and method for controlling a surgical manipulator based on implant parameters
KR102304096B1 (ko) * 2012-08-03 2021-09-24 스트리커 코포레이션 로봇 수술을 위한 시스템 및 방법
US9572626B2 (en) * 2013-02-15 2017-02-21 Intuitive Surgical Operations, Inc. Actuated cannula seal
US20150366620A1 (en) * 2013-03-15 2015-12-24 PIRON Cameron System and method for using guide clamp for port based procedure
JP6467773B2 (ja) * 2014-02-25 2019-02-13 アイシン・エィ・ダブリュ株式会社 経路探索システム、経路探索方法及びコンピュータプログラム
CN110251048B (zh) * 2014-04-28 2022-08-05 柯惠Lp公司 用于容纳力传递构件的手术组件
US9404761B2 (en) * 2014-05-30 2016-08-02 Nissan North America, Inc. Autonomous vehicle lane routing and navigation
DE102014009893B4 (de) * 2014-07-04 2016-04-28 gomtec GmbH Endeffektor für ein Instrument
CN112923937B (zh) * 2015-02-10 2022-03-15 御眼视觉技术有限公司 沿着路段自主地导航自主车辆的系统、自主车辆及方法
US9910441B2 (en) * 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
US9958864B2 (en) * 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US9507346B1 (en) * 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9851205B2 (en) * 2016-01-05 2017-12-26 Here Global B.V. Road segments with multi-modal traffic patterns
US9953535B1 (en) * 2016-06-27 2018-04-24 Amazon Technologies, Inc. Annotated virtual track to inform autonomous vehicle control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534123A (zh) * 2011-02-18 2014-01-22 捷豹路虎有限公司 车辆和控制车辆的方法和系统
US20160171885A1 (en) * 2014-12-10 2016-06-16 Here Global B.V. Method and apparatus for predicting driving behavior
CN104915967A (zh) * 2015-05-08 2015-09-16 南京邮电大学 一种隧道内车辆运动路径的预测方法
CN104848867A (zh) * 2015-05-13 2015-08-19 北京工业大学 基于视觉筛选的无人驾驶汽车组合导航方法
CN105573325A (zh) * 2016-01-22 2016-05-11 深圳市万兴利民科技有限公司 无人驾驶自行车的控制方法及系统

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500380B2 (en) 2017-02-10 2022-11-15 Nissan North America, Inc. Autonomous vehicle operational management including operating a partially observable Markov decision process model instance
CN108733046A (zh) * 2017-04-20 2018-11-02 百度（美国）有限责任公司 用于自动驾驶车辆的轨迹重新规划的系统和方法
US11702070B2 (en) 2017-10-31 2023-07-18 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
CN108256233A (zh) * 2018-01-18 2018-07-06 中国第汽车股份有限公司 基于驾驶员风格的智能车轨迹规划及跟踪方法和系统
CN108256233B (zh) * 2018-01-18 2021-10-01 中国第一汽车股份有限公司 基于驾驶员风格的智能车轨迹规划及跟踪方法和系统
CN110058517A (zh) * 2018-01-19 2019-07-26 通用电气航空系统有限责任公司 无人驾驶载具控制系统
CN111902782A (zh) * 2018-02-26 2020-11-06 北美日产公司 集中式共享自主运载工具操作管理
CN110378483A (zh) * 2018-04-12 2019-10-25 百度（美国）有限责任公司 部署在模拟平台上的用于训练机器学习模型的系统和方法
CN110389549A (zh) * 2018-04-17 2019-10-29 通用汽车环球科技运作有限责任公司 智能电动自行车的自适应踏板辅助系统和控制逻辑
CN110389549B (zh) * 2018-04-17 2022-10-21 通用汽车环球科技运作有限责任公司 用于调节人工驱动车辆的动力辅助系统的方法
CN111033423A (zh) * 2018-04-18 2020-04-17 百度时代网络技术（北京）有限公司 用于评估自动驾驶车辆的定位系统的方法
CN111033423B (zh) * 2018-04-18 2023-11-21 百度时代网络技术（北京）有限公司 用于评估自动驾驶车辆的定位系统的方法
CN112203918A (zh) * 2018-05-31 2021-01-08 北美日产公司 轨迹规划
CN112203918B (zh) * 2018-05-31 2023-11-21 北美日产公司 轨迹规划
CN113272034B (zh) * 2018-11-30 2024-05-24 奥迪股份公司 用于运行虚拟现实输出设备的方法、同步装置、机动车
CN111256714A (zh) * 2018-11-30 2020-06-09 北汽福田汽车股份有限公司 路径规划方法、装置及车辆
CN113272034A (zh) * 2018-11-30 2021-08-17 奥迪股份公司 用于运行虚拟现实输出设备的方法、同步装置、机动车
CN111684379A (zh) * 2018-12-26 2020-09-18 百度时代网络技术（北京）有限公司 自动驾驶车辆的三点转弯的最优规划器切换方法
CN111684379B (zh) * 2018-12-26 2023-12-22 百度时代网络技术（北京）有限公司 自动驾驶车辆的三点转弯的最优规划器切换方法
CN109920296A (zh) * 2019-03-26 2019-06-21 杭州合学教育科技有限公司 汽车教具运行方法及装置、计算机可读存储介质和终端
CN110244728A (zh) * 2019-06-17 2019-09-17 北京三快在线科技有限公司 确定无人驾驶控制策略的方法、装置、设备及存储介质
WO2021058010A1 (zh) * 2019-09-29 2021-04-01 杭州海康机器人技术有限公司 自动导引运输车行走控制方法及装置
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
US12001211B2 (en) 2019-11-26 2024-06-04 Nissan North America, Inc. Risk-aware executor with action set recommendations
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
CN114764454A (zh) * 2020-12-31 2022-07-19 北汽福田汽车股份有限公司 驾驶场景生成方法、装置、存储介质、电子设备及车辆
CN112721909B (zh) * 2021-01-27 2022-04-08 浙江吉利控股集团有限公司 一种车辆的控制方法、控制系统及车辆
CN112721909A (zh) * 2021-01-27 2021-04-30 浙江吉利控股集团有限公司 一种车辆的控制方法、控制系统及车辆
CN113204236B (zh) * 2021-04-14 2022-05-20 华中科技大学 一种智能体路径跟踪控制方法
CN113204236A (zh) * 2021-04-14 2021-08-03 华中科技大学 一种智能体路径跟踪控制方法

Also Published As

Publication number Publication date
US20180011494A1 (en) 2018-01-11
US10331138B2 (en) 2019-06-25
CN107577227B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN107577227A (zh) 操作无人驾驶车辆的方法、装置和数据处理系统
EP3339126B1 (en) Method and system to recognize individual driving preference for autonomous vehicles
US11868136B2 (en) Geolocalized models for perception, prediction, or planning
KR102096726B1 (ko) 자율 주행 차량의 운행을 위한 제어 오류 보정 계획 방법
US11354913B1 (en) Systems and methods for improving vehicle predictions using point representations of scene
US11718305B2 (en) Evaluating driving control systems for elegant driving
CN110239562A (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
CN110378483A (zh) 部署在模拟平台上的用于训练机器学习模型的系统和方法
JP2020004402A (ja) ニューラルネットワークに基づく自動運転車両用の安全監視システム
CN108090603A (zh) 为自动驾驶车辆管理车辆组的方法和系统
CN110389581A (zh) 用于为自动驾驶车辆生成障碍物的预测轨迹的方法
CN108475057A (zh) 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统
CN108139884A (zh) 模拟自动驾驶车辆移动的物理模型和结合机器学习的方法
CN107985313A (zh) 用于自主车辆的基于弹簧系统的变换车道方法
CN110389583A (zh) 生成自动驾驶车辆的轨迹的方法
JP2018531385A6 (ja) 自律走行車を運行させるための制御エラー補正計画方法
CN109521762A (zh) 用于自动驾驶车辆的基于2d约束平滑样条的平滑道路参考线路
CN108139756A (zh) 为自动驾驶车辆构建周围环境以制定驾驶决策的方法和系统
CN109937343A (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
CN108602509A (zh) 基于运动规划来操作自动驾驶车辆的方法和系统
CN109429518A (zh) 基于地图图像的自动驾驶交通预测
CN109521761A (zh) 用于自动驾驶车辆的基于约束平滑样条的速度优化
JP2020064611A (ja) 標準的なナビゲーション地図と車両の過去の軌跡に基づいて決定された車線構成を利用した自動運転
JP2018535871A (ja) 自律走行車のための横滑り補償制御方法
CN108604095A (zh) 动态调整自动驾驶车辆的转向率的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant