CN107614308B - 用于将车辆驾驶到目的地的机器人系统和方法 - Google Patents

用于将车辆驾驶到目的地的机器人系统和方法 Download PDF

Info

Publication number
CN107614308B
CN107614308B CN201680025983.1A CN201680025983A CN107614308B CN 107614308 B CN107614308 B CN 107614308B CN 201680025983 A CN201680025983 A CN 201680025983A CN 107614308 B CN107614308 B CN 107614308B
Authority
CN
China
Prior art keywords
vehicle
image data
robotic system
data
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680025983.1A
Other languages
English (en)
Other versions
CN107614308A (zh
Inventor
H·古特曼
O·叶切尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BG Negev Technologies and Applications Ltd
Original Assignee
BG Negev Technologies and Applications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BG Negev Technologies and Applications Ltd filed Critical BG Negev Technologies and Applications Ltd
Publication of CN107614308A publication Critical patent/CN107614308A/zh
Application granted granted Critical
Publication of CN107614308B publication Critical patent/CN107614308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means

Abstract

用于将车辆驾驶到目的地的机器人系统和方法。机器人系统被配置为设置在车辆内，并且该机器人系统利用成像系统来获取车辆内部的至少一部分的图像数据和车辆的外部周围环境的图像数据，并且利用控制系统来处理由该成像系统获取的图像数据。该控制系统被配置为在车辆的内部的至少一部分的图像数据中识别车俩状态指示器的图像数据，并且从其确定至少车辆状态数据。控制系统适于从外部周围环境的图像数据确定道路状态数据，并且分析至少车辆状态数据和道路状态数据以生成用于沿着道路驾驶车辆的控制指令。

Description

用于将车辆驾驶到目的地的机器人系统和方法
技术领域
本发明总体属于机器人驾驶系统领域。
背景技术
驾驶机动车辆是较乏味、重复、耗时且昂贵(鉴于人力)的任务(根据关于“Self-driving cars:The next revolution”的KPMG报告(2012年)对于平均通勤者为每年大约250个小时)。交通事故的大约93％由于人为错误而引起，这也致使驾驶机动车辆成为危险的任务。交通事故每年夺去数千伤亡人员的生命，并且导致与住院治疗、医学治疗和护理以及汽车损坏关联的极大费用(根据KPMG报告为每年数千亿美元)。
为了对于各种不同任务和应用(诸如，测试车辆性能、军事行动等等)代替人类驾驶员而开发机器人驾驶系统。迄今为止提出的解决方案通常实施昂贵且非常难以许可/授权操作地面车辆。
从如例如在美国专利4,742,720、5,172,589、5,270,628、5,363,027、5,394,743、5,816,106、5,821,718、7,628,239以及8,051,936中描述的专利文献已知一些自动化驾驶系统。然而，这些自动化驾驶系统为了沿着预定轨道/路径驾驶车辆需要人类操作员向系统提供控制和指令，并且不被设计为提供可以与任何地面/机动车辆一起使用的通用平台。
发明内容
本领域中需要在能够机械联接到任何类型/模型的地面/机动车辆且操作其致动器(方向盘、踏板和/或控制杆)的意义上对于朝向目的地驾驶车辆通用的自动化驾驶系统。本领域中还需要在不与车辆的控制和/或计算机化系统传递数据并在车辆操作任务中没有人类介入的情况下可以自主操作车辆并朝向期望目的地驾驶车辆的自动化驾驶系统。
本发明提供了一种低重量且低成本、容易组装并容易安装的通用自主机器人系统，该通用自主机器人系统被配置且可操作为操作地面车辆并将其驾驶到期望的目的地。本发明的机器人系统被配置为且可操作为被紧固到任何地面车辆(例如，轿车、厢式货车、卡车、拖拉机等等)的驾驶员座椅，机械地联接到车辆的踏板、方向盘和/或控制杆(这里被总称为致动器)，连续获取并分析车辆内部及其外部周围环境的图像数据。机器人系统处理所获取的图像数据，从其确定车辆和道路状态数据，并且基于所确定的车辆和道路状态数据，确定控制运算符/指令。因此，系统然后为了朝向目的地沿着预定路线安全驾驶车辆而使用控制运算符/指令来改变车辆的一个或更多个致动器的状态。
如这里所用的术语致动器总体是指用于操作车辆的不同系统(诸如但不限于，方向盘系统、齿轮系统、加速系统、制动系统、离合器系统、发动机点火系统、车辆车光系统、刮水器系统、手刹系统等等)的机械控制(例如，方向盘、控制杆、旋钮/开关等)。
如这里所用的术语状态指示器总体是指指示车辆状态的工具(诸如设置在车辆的控制板中(例如，速度计、发动机温度指示器、发动机角速度指示器、燃油液面指示器、电池充电量指示器等等))。
道路状态数据可以指示在车辆的外部周围环境的所获取图像中识别的外部障碍物(例如，附近的车辆/自行车、行人、交通岛等等)和/或交通规则标志/灯。道路状态数据可以包括由其他传感器获取和/或(例如，通过无线因特网通信)无线接收的另外数据(诸如但不限于，交通负荷、天气情况、速度限制、一天特定小时期间的特定路段上的适用的平均车速等等)。
车辆状态数据可以指示如在车辆的控制板的所获取图像中识别的车速、马达状态(温度、角速度)、燃油和/或电池状态，诸如此类。可选地且在一些实施方式中优选地，车辆状态数据中的一些或全部通过将机器人系统连接到汽车的控制总线(如果这种总线存在)或由有线连接或无线地(例如，CAN总线，还被称为控制器区域网总线)直接从车辆接收。车辆状态数据可以包括由其他传感器获取和/或无线取得的另外数据(诸如但不限于，方向盘的当前状态(角位移)、车辆的踏板和/或控制杆的当前状态、电池充电历史等等)。
可选地且在一些实施方式中优选地，机器人系统经由合适的输入装置从用户接收目的地，并且至少部分基于从系统的内部储存器获得和/或从可通过数据网络访问的远程数据储存器/服务无线获得的导航数据确定用于将车辆从其当前位置驾驶到所指示的目的地的路线。车辆的当前位置可以使用任何合适的定位技术(例如，三角测量)来确定或由用户(例如，经由智能装置)来提供。优选的，机器人系统包括用于连续监测车辆朝向期望目的地的运动的定位系统(例如，全球定位系统/GPS模块)和/或惯性测量单元(IMU)。
在一些可能的实施方式中，可以使用视觉确定技术来监测车辆沿着路线的运动。例如，可以使用视觉测程处理来分析车辆外部周围环境的一系列图像，在图像中识别一个或更多个静止对象，确定所识别的静止对象与车辆的距离，并且基于所确定的距离，根据时间确定车辆运动。
路线确定处理可以使用在行驶期间由机器人系统收集的另外信息(诸如但不限于，道路状态数据(例如，交通负荷)和/或车辆状态数据(例如，燃油和/或电池状态))。例如且不限制，如果车辆状态数据指示车辆的燃油/电池状态低，则机器人系统可以确定包括在更新车辆的能源的汽油装载和/或电池充电/交换站处的一个或更多个停止的、到目的地的新路线。类似地，如果道路状态数据指示沿着所确定路线的交通负荷，则机器人系统可以确定使用更少负荷的道路的、到目的地的新路线。
这里公开的主题的一个发明概念涉及一种用于将车辆驾驶到目的地的机器人系统。该机器人系统被配置为设置在车辆内，并且使用成像系统和控制系统来将车辆驾驶到目的地。系统使用成像系统来获取车辆的内部的至少一部分的图像数据和车辆的外部周围环境的图像数据。控制系统处理并分析由成像系统获取的图像数据。
控制系统在车辆内部的至少一部分的图像数据中识别车俩状态指示器的图像数据，并且从其确定至少车辆状态数据。控制系统还从外部周围环境的图像数据确定道路状态数据。控制系统还分析车辆状态数据和道路状态数据中的至少一个，并且基于分析生成用于沿着道路驾驶车辆的控制指令。
优选地，使用联接到车辆的致动器的致动器操纵系统来根据由控制单元生成的控制指令可控地改变致动器的操作状态。
可选地且在一些实施方式中优选地，控制系统接收指示车辆的当前位置的位置数据和道路数据，并且至少部分基于所接收的位置数据和道路数据确定用于将车辆驾驶到目的地的路线。在一些实施方式中，使用定位单元来确定车辆的当前位置。系统还可以包括无线通信单元，该无线通信单元用于与远程计算机系统(服务器)进行数据通信。一些实施方式中的控制系统适于经由无线通信单元接收至少道路数据。
在一些实施方式中，使用用户接口单元来与用户传递数据。在可能的应用中，控制系统适于经由用户接口单元接收至少目的地数据。可选地且在一些实施方式中优选地，用户接口单元包括数据通信装置，该数据通信装置可用于与用户装置传递数据。这样，用户装置可以使用用户接口单元的数据通信装置来接收位置数据和道路数据中的至少一个。在变体中，音频输入装置用于经由用户接口单元从用户接收可听指令。例如且不限制，可听指令指示目的地和车辆操作指令中的至少一个。另外，音频输出装置可以用于经由用户接口单元向用户输出可听信息。
可选地且在一些实施方式中优选地，机器人系统的不同部件(例如，成像系统、控制系统以及致动器操纵系统)安装在支撑构件(例如，一个或更多个支撑框架)上，该支撑构件被配置为且可操作为将系统固定到车辆的驾驶员座椅。
在可能的实施方式中，致动器操纵系统包括至少制动踏板操纵系统、油门踏板操纵系统以及方向盘操纵系统。可选地且在一些实施方式中优选地，方向盘操纵系统弹性地联接到支撑构件，以在防止方向盘操纵系统的角运动的同时允许方向盘操纵系统在其平移轴线中的至少一个上的运动。在可能的应用中，致动器操纵系统还包括至少一个控制杆操纵系统，该至少一个控制杆操纵系统可用于致动车辆的至少齿轮系统。然而，控制杆操纵系统还可以用于制动车辆的手刹、灯、刮水器和/或其他致动旋钮/开关以及控制杆。
成像系统在一些实施方式中用于获取指示车辆的控制板上的状态指示器的图像数据，并且获取指示车辆的前侧外部周围环境的前图像数据。虽然成像系统可以使用单个成像器单元来获取所需的成像数据，但在一些实施方式中，使用至少两个成像器单元。例如且不限制，面板成像器单元用于获取指示车辆的控制板上的状态指示器的图像数据，并且前视成像器用于获取指示车辆的前侧外部周围环境的前图像数据。
可选地且在一些实施方式中优选地，成像系统还包括后成像器单元，该后成像器单元用于获取车辆的外部周围环境的后视图像数据。
在一些应用中，成像系统还被配置为获取指示车辆的外部周围环境的左视和由车辆的左侧反射镜反射的左侧后视中的至少一个的图像数据，并且被配置为获取指示车辆的外部周围环境的右视和由车辆的右侧反射镜反射的右侧后视中的至少一个的图像数据。例如且不限制，成像系统可以使用左成像器单元来获取指示车辆的外部周围环境的左视和由车辆的左侧反射镜反射的左侧后视中的至少一个的图像数据，并且使用右成像器单元来获取指示车辆的外部周围环境的右视和由车辆的右侧反射镜反射的右侧后视中的至少一个的图像数据。
这里公开的主题的另一个发明概念涉及一种用于将车辆自主驾驶到目的地的方法。在一些实施方式中，方法包括以下步骤：接收指示至少车辆的状态指示器和车辆的外部周围环境中的图像数据；在所接收的图像数据中识别至少状态指示器的至少状态和车辆的外部周围环境中的对象，并且基于所识别的状态和对象分别生成车辆和道路状态数据；以及至少部分基于车辆状态数据和道路状态数据生成用于沿着道路驾驶车辆的控制指令。
可选地且在一些实施方式中优选地，方法包括以下步骤：接收指示车辆的当前位置的位置数据；以及基于位置数据确定到目的地的路线。识别步骤在一些实施方式中包括在图像数据中检测道路车道和道路弯道中的至少一个；以及生成指示道路车道和道路弯道中的至少一个的车道数据。所生成的车道数据可用于在驾驶道路上安全导航车辆的可能应用中。
方法在可能的实施方式中包括以下步骤：追踪所识别的对象中的至少一个；以及生成指示该对象的轨迹的轨迹数据。轨迹数据可用于确定路线和生成控制指令中的至少一个。
附图说明
为了理解本发明且查看它实际上可以如何进行，现在将参照附图仅用非限制性示例的方式描述实施方式。附图所示的特征意指仅例示了本发明的一些实施方式，除非另外含蓄指示。在附图中，同样的附图标记用于指示对应的部分，并且在附图中：
图1A和图1B是根据一些可能实施方式的机器人驾驶系统的框图；
图2A至图2D示意性例示了被紧固到地面车辆的驾驶员座椅的机器人系统的可能实施方式；
图3是根据一些可能实施方式的成像系统的框图；
图4是例示了根据一些可能实施方式的控制方案的框图；以及
图5A至图5C示意性例示了机器人系统的另一个可能实施方式，其中，图5A是系统的立体图，图5B是系统的底座组件的剖面图，并且图5C是系统的竖直支撑组件的剖面图。
具体实施方式
下面将参照附图描述本公开的一个或更多个具体实施方式，这些实施方式在所有方面都被认为仅是例示性的且不以任何方式限制。为了提供这些实施方式的简明描述，不是实际实施方案的所有特征都在说明书中描述。附图所例示的元件不必是等比例，重点反而置于例示本发明的原理。本发明可以在不偏离这里描述的必要特性的情况下以其他具体形式和实施方式来提供。
本发明目的在于提供一种低重量且低成本、容易组装且容易安装的机器人驾驶系统，该机器人驾驶系统可以由普通车辆用户/所有者快速地安装在任何地面车辆上。这里所描述的机器人驾驶系统被设计为可以被紧固到任何地面车辆的驾驶员座椅的通用机器人导航驾驶员。机器人驾驶系统使用方向盘操纵系统、一个或更多个踏板操纵系统和/或一个或更多个控制杆和/或旋钮操纵系统机械地联接到车辆的致动器，以操作车辆并朝向预定目的地驾驶车辆。因此，本发明提供了一种可以被置于任何地面/机动车辆的驾驶员座椅中且执行为了操作车辆并朝向期望目的地驾驶车辆而习惯上由人类驾驶员实现的所有功能的通用系统。
使用机器人系统的成像系统来连续获取车辆的外部周围环境及其内部的图像数据。处理并分析由成像系统从车辆的外部周围环境和内部获取的图像数据，以分别确定道路状态数据和车辆状态数据。
使用机器人系统的控制系统来从所获取的图像确定道路和车辆状态数据，并且至少部分基于道路和/或车辆状态数据和/或从车辆的内部储存器和/或从可通过数据网络访问的远程数据储存器/服务器无线获得的导航数据确定到预定目的地的驾驶路线。对应地，为了至少部分基于道路和车辆状态数据以及所确定的驾驶路线改变车辆的方向盘、踏板和/或控制杆/旋钮的状态，控制系统生成用于操作机器人的操纵系统的控制运算符/指令，以将车辆安全地驾驶到期望目的地。
图1A和图1B是示意性例示根据一些可能实施方式的地面车辆的自主机器人操作的框图。图1A示出了使用控制单元11a来处理并分析从成像系统12接收的图像数据的一个或更多个流的自主机器人系统10的简化方案。控制单元11a被配置且可操作为从图像数据的所接收流确定道路和车辆状态数据，并且至少基于所确定的状态数据，生成用于朝向预定目的地驾驶/操纵车辆的控制运算符/指令。致动器操纵器控制器11b使用由控制单元11a生成的控制运算符/指令来操作操纵系统29，以改变车辆的一个或更多个致动器(例如，油门踏板、制动踏板、手刹、方向盘、变速杆、方向灯控制杆、刮水器控制杆等等)的操作状态。
控制单元11a还可以使用从致动器操纵器控制器11b接收的数据来生成控制运算符/指令。例如且不限制，在一些实施方式中，操纵器控制器11b被配置且可操作为从传感器单元(例如，编码器，图1A中未示出)接收状态数据，该状态数据在致动器操纵系统29中提供，并且指示车辆的踏板、控制杆和/或旋钮的操作状态。可选地且在一些实施方式中优选地，操纵器控制器11b被配置且可操作为从车辆的计算机/数据系统(例如通过连接到其数据总线(例如，CAN总线))获得状态数据的至少一部分。这样，获得反馈回路，该反馈回路允许控制单元11a基于操纵器控制器11b从传感器单元、从致动器操纵系统29和/或从车辆的计算机/数据系统收集的状态数据自适应地调节被提供给操纵器控制器11b的控制运算符/指令。该配置使得能够使用高级驾驶控制方案(例如，采用模糊逻辑和神经网络技术来生成控制运算符/指令)。
在一些实施方式中，控制单元11a与致动器操纵器控制器11b之间的通信对于高级指令和反馈通过通用异步接收/发送(UART)连接来进行。然而，可以在不偏离本发明的范围和精神的情况下类似地使用基于任何合适串行或并行总线的数据通信(例如，USB、CAN总线、以太网、WiFi)。
可选地且在一些实施方式中优选地，成像系统12包括至少两个成像单元：内成像单元12b和外成像单元12a。内成像单元12b被配置且可操作为获取车辆内部的图像Ib，这些图像指示车辆状态(例如包括车辆的控制板的指示器和/或示出车辆的控制杆、旋钮和/或踏板的操作状态)。外成像单元12a被配置且可操作为获取车辆的外部周围环境的图像Ia，这些图像指示道路状态(例如，道路方向、交通标志、红绿灯、存在于道路上的可能障碍物等等)。
然而应注意的是在一些可能的实施方式中，车辆外部周围环境的图像Ia和车辆内部的图像Ib借助于单个成像器单元来获取。例如且不限制，这种单个成像器单元可以被配置为获取包括外部周围环境的图像数据Ia和车辆内部的图像数据Ib这两者(即，同时获取所有需要的图像数据)的非常宽的视野。另外或另选地，可以使用可移动/可旋转成像器单元来顺序获取外部周围环境Ia和车辆内部Ib。另外或另选地，可以使用光学单元(反射镜、透镜、光分路器)来组合在同一成像器传感器的不同区域上的外部周围环境的图像数据Ia和车辆内部的图像数据Ib，以将其组合到单个图像框中。
在图1A中，控制单元11a被配置且可操作为从由内成像单元12b获取的图像Ib确定指示车辆状态的数据，尤其包括车辆速度、发动机的温度和角速度、燃油和/或电池状态、车辆的踏板、控制杆和/或旋钮的操作状态等等。道路状态数据通过在所获取图像中识别道路和/或车道的方向、附近车辆和/或行人、交通标志、信号灯、人行道和/或交通岛从由外成像单元12a获取的图像Ia由控制单元11a来确定。至少部分基于所提取的道路和车辆状态数据，控制单元11a确定是否需要改变车辆致动器的状态，并且因此生成控制运算符/指令，以由操纵器控制器11b调节车辆致动器的状态。
图1B是示出了机器人驾驶系统10的其他可能实施方式的框图。在该非限制性示例中，操纵器控制器11b联接到致动器操纵系统29，该致动器操纵系统包括油门踏板操纵系统24、制动踏板操纵系统25、方向盘操纵系统23以及控制杆/旋钮致动器26。
控制杆/旋钮致动器26适于操作车辆的各种按钮/旋钮、键、齿轮轴和/或手刹。在一些可能的实施方式中，机器人驾驶系统10还包括被配置且可操作为操作车辆的离合器踏板的离合器踏板操纵系统(未示出)(如果这样需要)。
操纵器控制器11b被配置且可操作为接收由控制单元11a生成的控制运算符/指令，并且因此致动致动器操纵系统29(23、24、25和/或26)中的一个或更多个，从致动器操纵系统29的传感器单元(分别为23e、24e、25e以及26e)接收状态数据(例如，角定位)，并且将状态数据传送到控制单元11a。如在图1B中还看到的，成像系统12与控制单元11a之间的数据通信可以为双向数据通信，以允许向成像系统12提供控制指令，这些控制指令例如用于调节成像系统的光学元件和/或其一个或更多个成像器的图像获取方向。
人机接口(HMI)单元16可以用于从用户输入数据和/或向用户输出数据。例如且不限制，HMI单元16可以被配置且可操作为经由音频输入装置16m(例如，使用一个或更多个麦克风)从用户接收音频数据(例如，指示目的地和/或位置数据)和/或指令(例如，启动、停止、驾驶或其他这种指令)，并且将数据和指令传送到控制单元11a。HMI单元16可以从控制单元11a接收输出数据，并且使用音频输出装置16s(例如，使用一个或更多个扬声器)向用户生成相应的音频数据。为此，HMI单元16可以采用领域中已知的任何合适的语音识别和语音生成技术。
HMI单元16可以使用数据通信单元16c来使用任何合适的输入/输出装置(例如，小键盘/键盘、指向装置、LCD/视频显示器、触摸屏或触摸板等等)与用户通信数字数据。可选地且在一些实施方式中优选地，数据通信单元16c包括无线通信装置16r，该无线通信装置用于借助HMI单元16与用户装置16u(例如，诸如平板电脑、智能电话或膝上型电脑的智能装置)无线地传递数据(例如，使用诸如红外通信的光学通信、诸如WiFi、蓝牙、近场通信NFC、Zigbee的射频通信)。例如且不限制，用户的智能装置/电话16u可以用于使用智能装置16u的定位功能(例如，GPS和/或基站三角测量)提供给机器人系统10目的地数据和/或位置数据。类似地，智能装置16u还可以用于提供给系统10地图(例如，使用谷歌地图(GoogleMapsTM))和/或导航数据(例如，使用WazeTM)。
另选地或另外地，数据通信单元16c还可以包括电缆连接器16u，该电缆连接器用于通过串行或并行数据通信电缆(例如，使用通用串行数据协议USB)与用户装置(例如，智能装置)传递数据。控制单元11a可以被配置为经由电缆连接器16u接收各种类型的信息(诸如但不限于，道路数据、地图数据、位置数据、一个或更多个目的地、加油站和/或电池充电站的位置等等)。
可选地，且在一些实施方式中优选地，机器人系统10包括无线通信单元15，该无线通信单元10用于与一个或更多个远程计算机系统/服务器19(例如，通过WiFi或蜂窝网络使用因特网访问)传递数据。控制单元11a可以被配置且可操作为直接借助无线通信单元15取得地图和/或导航数据。无线通信单元15可以用于取得与将车辆驾驶到目的地相关的不同类型的信息(诸如但不限于交通负荷数据、天气情况/预报、加油站/充电站的位置等等)。
可选地，且在一些实施方式中优选地，为了保证安全和保障，对由/用机器人驾驶系统10执行(借助电线和/或无线地进行)的数据通信的至少一些加密。任何合适的加密方案(诸如DES、RSA、SHA)可以用于该目的。
机器人系统10还可以包括定位系统18，该定位系统18使用GPS和/或惯性测量单元(IMU)来连续确定内部使用机器人系统10的车辆的位置。这样，控制单元11a可以在任何给定时间基于从定位系统18接收的定位/方位数据确定车辆的位置，监测朝向目的地的行驶的进度，并且因此确定用于致动器操纵控制器11b的控制运算符/指令。另选或另外地，从定位单元18获得或导出的定位数据可以经由无线通信单元15来通信，以由远程服务器/服务19处理并生成到目的地的导航数据。
图1B中还示出了机器人系统10的电源17，该电源用于对机器人系统10的不同单元/装置供电。内置可充电电池(未示出)可以用于电源17，或者另选地，机器人系统10可以被配置且可操作为连接到车辆的电源。
机器人系统10还可以包括安全和监测单元18，该安全和监测单元被配置且可操作为接收并处理由控制单元11a确定的状态数据和从不同的致动器操纵系统由致动器操纵器控制器11b获得的状态数据，以保证系统10的所有单元/装置适当并安全地操作。在一些实施方式中，安全和监测单元18分析被监测的各单元/装置的输入数据，以保证其有效性和质量(例如，验证从成像系统接收的图像未饱和或被阻挡)，并且评估模块的输出，以保证所获得的结果在可接受的操作范围内。如果识别到问题，则安全和监测单元18向用户发布指示所识别问题的相应指示/警报和/或将该指示/警报记录在系统10中。例如且不限制，安全和监测单元18可以能够在所识别问题严重时停车。在一些实施方式中，安全和监测单元18被配置且可操作为监测致动系统的马达(参见图2A和图2B)的操作和系统10的电源17的状态。
图2A和图2B分别示出了根据一些可能实施方式的、被紧固到地面车辆20的驾驶员座椅20a的机器人驾驶系统10的前和后立体图。在该非限制性示例中，机器人系统10由紧固框架22紧固到驾驶员座椅20a，该紧固框架具有底座框架22a，该底座框架不可移动地固定到驾驶员座椅20a的底座；和支撑框架22b，该支撑框架连接到底座框架22a，并且不可移动地固定到驾驶员座椅20a的后背支撑部20b。承载方向盘操纵系统23的支撑构件22c可以连接到底座框架22a和/或支撑框架22b，或者连接到这些框架的交叉点。
可选地，且在一些实施方式中优选地，底座和支撑框架22a和22b可移动地铰接到彼此，以允许框架相对于彼此的角运动。支撑构件22c还可以可移动地铰接到框架22a和22b中的一个或铰接到它们的交叉点，以允许支撑构件22c相对于框架22a和22b中的至少一个的角运动。在一些实施方式中，如图2D例示的，承载方向盘操纵系统23的支撑构件22c由电缆和/或带22s附接到框架22a和/或22b中的至少一个，从而在提供给方向盘操纵系统在平移轴线(i1、i2、i3)上的移动自由度并防止其旋转/角运动的同时提供给方向盘操纵系统23保持支撑构件22c所需的强度。框架22a和22b相对于彼此的特定方位和/或支撑构件22c相对于框架22a和22b中的至少一个的方位可以使用锁定机构(例如，22q)锁定，以实现框架22a与22b之间的期望角度、以及支撑构件22c与框架22a和22b中的至少一个之间的期望角度。
在该非限制性示例中，成像系统12安装在支撑框架22b上。然而，注意，在可能的实施方式中，成像系统12的各种成像单元可以安装在支撑框架22b的不同位置处/上、底座框架22a和/或支撑构件22c的不同位置处/上。如图2A和图2B还例示的，包括控制单元11a和致动器操纵器控制器11b的控制系统11可以不可移动地固定到框架22a和22b中的至少一个。然而，控制系统11的控制单元可以类似地不可移动地附接到框架22a和22b中的任何一个和/或支撑构件22c。
由支撑构件22c承载的方向盘操纵系统23附接到车辆20的方向盘系统20w，并且被配置且可操作为借助于马达23m和齿轮23g结构(例如，使用蜗轮转子组件)使车辆20的方向盘23f旋转。方向盘操纵系统23可以被配置为借助于具有多个翅片构件28p(图2A、图2B以及图2D中示出了三个这种翅片)的推进器结构28附接并旋转方向盘20w，并且经由齿轮系统23g机械地联接到马达23m的可旋转轴线。推进器结构28附接到齿轮系统23g的可旋转轴线23h，并且推进器结构的翅片构件28p从其朝向方向盘系统20w的框架23f径向延伸，并且由它们的自由端附接到方向盘20w的框架23f。
翅片构件28p的推进器结构28可以由任何合适的夹紧工具(例如，使用U形螺旋23t和螺母)附接到方向盘系统20w的框架23f。该配置提供了一种允许用户将方向盘操纵系统23快速且容易地联接到方向盘23w的简单附接方案。另外，使用推进器结构28的翅片构件28p来将马达23m的旋转移动转移到方向盘系统20w的框架23f，该使用被利用来在提供给方向盘沿着平移轴线i2和i3(其中，i1与方向盘23f的旋转轴线Wx平行或重合)移动的某一自由度的同时由马达23m致动方向盘20w。
如图2D例示，在一些实施方式中，方向盘操纵系统23的支撑构件22c由带和/或电缆22s附接到紧固框架22中的至少一个。在该具体非限制性示例中，支撑构件22c由带22s附接到底座框架22a，然而，它可以类似地附接到支撑框架22b或框架22a和22b这两者。由带/电缆22s附接支撑构件22c提供方向盘操纵系统23与紧固框架22之间的挠性/弹性连接，该连接在防止方向盘操纵系统的角运动的同时提供给方向盘操纵系统沿着平移轴线i1、i2以及i3移动的某一自由度。由此，采用电缆/带22s的这种附接方案提供给方向盘操纵系统23到紧固框架22的非刚性连接，该连接允许方向盘操纵系统23的马达23m的受限移动，从而解决与定心方向盘系统20w和马达23m的旋转部分关联的问题，并且使得能够减小为了使方向盘系统20w的框架23f旋转而由马达23m施加的致动力。
图2A和图2B还示出了油门踏板操纵系统24和制动踏板操纵系统25，油门踏板操纵系统24和制动踏板操纵系统25各不可移动地附接到底座框架22a，并且包括机械地联接到相应踏板的可移动腿。
油门踏板操纵系统24包括电动马达24m(例如，伺服马达)，该电动马达不可移动地附接到底座框架22a的支撑梁22p；可旋转控制杆24r，该可旋转控制杆机械地联接到马达24m的轴和可移动腿24f。可移动腿24f在其一端处铰接到可旋转控制杆24r，从而形成膝形接头24j，并且可移动腿24f由其自由端机械联接到油门踏板20c。这样，马达24m的轴和机械联接到它的控制杆24r的旋转运动由联接到油门踏板20c的可移动腿24f转化为油门踏板20c的推或拉致动。
类似地，制动踏板操纵系统25包括电动马达25m(例如，蜗轮马达)，该电动马达不可移动地附接到底座框架22a的支撑梁22p；和可旋转控制杆25r，该可旋转控制杆机械地联接到马达25m的轴和可移动腿25f。可移动腿25f在其一端处铰接到可旋转控制杆25r，从而形成膝形接头25j，并且可移动腿25f由其自由端机械联接到制动踏板20k。这样，马达25m的轴和机械联接到它的控制杆25r的旋转运动由联接到油门踏板20c的可移动腿25f转化为油门踏板20c的推或拉致动。
现在参照图2C，在一些实施方式中，可移动腿24f和25f分别使用“C”形联接构件(或夹具)24g和25g联接到它们相应的踏板20c和20k，联接构件被配置为包在踏板的至少某一部分周围，并且例如使用固定螺栓刚性地固定到该部分。显然，在该非限制性示例中，腿24f和25f铰接到它们相应的“C”形联接构件24g和25g，这形成用于允许腿24f和25f与它们相应的联接构件24g和25g之间的角运动的简单接头结构24x和25x。
在该非限制性示例中，车辆20是一种可由有限数量的致动器(包括油门踏板20c、制动踏板20k以及方向盘20w)操作的电动车辆。因此，不需要且在图2A和图2B中未示出控制杆操纵系统(例如，用于操作车辆的齿轮系统)和离合器操纵系统。然而，这种操纵系统可以使用诸如用于这里描述且例示的操纵系统24、25和/或23中的机构来容易地实施。类似地，机器人驾驶系统10可以包括用于操作车辆的各种按钮/旋钮、键、齿轮轴和/或手刹的一个或更多个这种操纵系统。由此，机器人驾驶系统10可以容易地适于安装在任何手动或自动车辆中。
注意，图2A和图2B中描绘的机器人系统10的实施方式被设计为与右手交通/驾驶车辆一起使用。应当清楚的是，这不是对本发明的限制，并且机器人系统10也可以类似地配置为操作左手交通/驾驶车辆的控制。
图3是示出了根据一些可能实施方式的成像系统12的框图。在该非限制性示例中，成像系统12的内成像单元12b包括面板成像单元41，该面板成像单元包括一个或更多个成像器，该一个或更多个成像器被配置且可操作为获取车辆20的控制板20x的图像(图3中示出仅一个成像单元41)。成像系统12的外成像单元12a包括前成像单元42，该前成像单元包括被配置且可操作为获取车辆的外部周围环境的前视图像(例如，如穿过车辆的挡风玻璃30w看到的)的一个或更多个成像器；后成像单元43，该后成像单元用于获取车辆的外部周围环境的后视图像(例如，如经由车辆的反射镜(挡风玻璃反射镜)20n看到的)。
另选地，在一些实施方式中，成像系统12采用可移动/可旋转成像器单元，这些成像器单元能够例如使用PAN-TIL安装的摄像头、全方向摄像头、标准摄像头或其组合来从各种不同的视野(FOV)顺序获取图像数据。另选地或另外地，成像系统12可以包括光学单元(例如，透镜、反射镜、光分路器)，这些光学单元用于允许成像系统将来自各种不同FOV的图像数据同时收集并组合到同一成像器传感器的不同区域上。这样，可以大幅减少成像系统12的成像器的数量。例如，在特定实施方式中，使用单个成像器单元来收集控制板20x的图像和车辆外部周围环境的前视图像。
在一些实施方式中，成像系统12的外成像单元12a还包括左侧成像单元46，该左侧成像单元用于获取车辆的外部周围环境的左侧视图像(例如，如穿过驾驶员侧窗30f看到的)、和/或左侧后视图像(例如，如经由车辆的左侧视反射镜20f看到的)。类似地，右侧成像单元45可以用于获取车辆外部周围环境的右侧视图像(例如，如穿过前乘客侧窗30r看到的)、和/或右侧后视图像(例如，如经由车辆的右侧视反射镜20r看到的)。
可选地且在一些实施方式中优选地，前成像单元42使用立体成像技术(这些技术使用两个成像器42f和42r)来确定由前成像单元42成像的对象在三维空间中的位置(即，用于添加深度信息)。在一些可能的实施方式中，其他成像单元(诸如左侧和右侧成像单元46和45)可以采用这种立体成像技术。成像系统12的成像单元可以使用任何类型的任何合适成像器(诸如但不限于，灰点(Point Grey)公司的FLEA3、1.3M像素、30FPS彩色GigE摄像头)来实施。然而，在一些实施方式中，在成像系统12中使用单个成像器单元来获取所有所需的图像数据(即，控制板20x、前视图像、后视图像、左侧视图像以及右侧视图像的图像数据)，该单个成像器单元使用可旋转/可移动成像器和/或光学单元来扩展图像的FOV和/或同时组合在成像器的不同传感器区域上的不同图像数据。
成像系统12可以包括一个或更多个控制和/或处理单元12c，该一个或更多个控制和/或处理单元12c被配置且可操作为接收由成像单元41、42、43、45和/或46的成像器获取的图像，并且将它们传送到控制系统11以处理。在一些可能的实施方式中，成像系统12的控制/处理单元12c可以包括图像处理硬件和/或软件，该处理硬件和/或软件被配置且可操作为处理并分析由成像单元获取的图像，并且确定由控制单元11生成用于驾驶车辆的控制运算符/指令所需的外部和内部状态数据。
图4是例示了根据一些可能实施方式的控制单元11a的部件和功能的框图40。在该非限制性示例中，控制单元11a使用位置确定模块3t来基于从定位系统18接收的定位/方位数据确定车辆的位置(例如，全球地面定位和/或在道路地图上)，并且生成指示该位置的位置数据。如果定位系统18包括GPS和IMU单元这两者，则可以在位置确定模块3t中融合/组合来自这些单元的位置/方位数据，以提高车辆的真实世界定位的准确性和理解，从而提高所生成位置数据的精度。例如且不限制，卡尔曼滤波器可以至少部分用于基于由GPS和/或IMU单元生成的定位/方位数据生成位置数据。
控制单元11a的图像处理模块3e用于根据从成像系统12接收的图像数据(Ia和Ib)确定道路和/或车辆状态数据。控制单元11a的路线规划和监测模块3r用于生成路线，监测沿着所生成路线的行驶的进度，并且至少部分基于由定位系统18生成的位置数据以及由图像处理模块3e生成的道路和/或车辆状态数据来进行决策。路线规划和监测模块3r还至少部分基于所接收的位置数据以及道路和/或车辆状态数据生成驾驶指令(例如，加速/减速、停车、左转或右转、变换车道等等)。控制单元11a的致动器控制模块3c使用由规划和监测模块3r生成的驾驶指令来生成由致动器操纵器控制器11b用于操作操纵系统的控制运算符/指令。
路线规划和监测模块3r可以被配置并可操作为至少部分基于由位置确定模块3t生成的位置数据、经由无线通信单元15从远程数据库/服务器(19)接收的道路/地图和/或导航数据、从图像处理单元3e接收的道路和/或车辆状态数据来监测沿着所生成路线的行驶的进度。
在一些可能的实施方式中，道路/地图和/或导航数据从控制单元11a的存储/储存单元3b(例如，磁/光盘、闪存等等)取得。类似地，行驶的预定目的地可以从存储/储存单元3b取得，并且由路线规划和监测模块3r用于生成路线。因此，在一些可能的实施方式中，机器人驾驶系统10可以在没有无线通信单元15的情况下来实施。
在一些可能的实施方式中，图像处理模块3e至少包括对象检测(OD)部件m1、对象追踪(OT)部件m2以及道路/车道检测(RD)部件m3，这些部件用于(例如，使用视觉/映射算法)生成道路和车辆状态数据的至少一些部分。对象检测部件m1被配置且可操作为在从成像系统12接收的图像数据中识别对象(例如，车辆/自行车、行人、交通标志/信号灯/交通岛、人行道、控制板指示器等等)，并且生成指示对象的对象数据。由对象检测部件m1生成的对象数据对于将车辆安全地驾驶到目的地并防止事故和/或交通事件是必要的。对象追踪部件m2被配置且可操作为预料由对象检测部件m1识别的各种对象的轨迹，并且生成指示轨迹的轨迹数据。道路/车道检测部件m3被配置且可操作为检测从成像系统接收的图像数据中的车道和道路弯道，并且生成指示车道和道路弯道的车道数据。由道路/车道检测部件m3生成的车道数据由机器人驾驶系统10用于在驾驶道路上安全导航，并且为了将车辆维持在道路车道上而需要，以允许车道切换(如果需要)并进行道路转弯。
来自图像处理单元3e的对象数据、轨迹数据以及车道数据被提供给路径规划/监测单元3r，在该路径规划/监测单元中，这些数据用于确定车辆要在其中驾驶的安全路线。
图5A示出了根据一些可能实施方式的机器人系统50，并且图5B和图5C示出了系统50的底座组件51和竖直支撑组件52的剖面图。参照图5A，底座组件51被配置为牢固地附接到驾驶员座椅，并且竖直支撑组件52被配置为牢固地附接到驾驶员座椅的后背支架。在一些实施方式中，竖直支撑组件52枢转地铰接到底座组件51。
如在图5A中看到的，竖直支撑组件52在其上部包括两个孔径52r和52f，这两个孔径充当用于前成像单元42的光进入孔径。现在参照图5C，竖直支撑组件52包括用于收容成像单元42和定位系统18的上隔室52c。更具体地，成像单元42的成像器42f和42r与孔径52r和52f对齐的安装在上隔室52c的侧面处，并且定位系统18定位在它们之间。中间隔室52i用于收容系统的计算机系统55(例如，膝上型电能)，被配置为实施在上文中描述的控制系统和成像系统/DSP的功能。
图5B示出了底座组件51的剖面图，该底座组件包括前支撑框架51f，该前支撑框架被配置为容纳并保持电动马达25m；前支撑框架51r，该前支撑框架51r被配置为容纳并保持电动马达24m；以及后支撑框架51e，该后支撑框架被配置为容纳并保持电动马达24m和25m的和图2所示的系统的其他元件的电路驱动器51d。
如在上文中描述且在关联附图中示出的，本发明提供了一种通用机器人驾驶系统10/50和有关方法，该通用机器人驾驶系统被配置且可操作为安装在任何地面/机动车辆内，用于将车辆自主驾驶到期望/预定目的地。如将理解的，本发明的机器人驾驶系统提供了一种用于将任何车辆改造为自主车辆的简单解决方案，这可以有利地用于各种不同的应用(诸如但不限于，农业、运输、矿业、清洁、日常巡逻、配送)，并且用于辅助残疾人/欠缺行为能力人士、老人、视力受损和困乏的驾驶员。
在上文中描述的控制单元11a的不同模块在一些实施方式中可以被实施为软件和/或硬件模块或其组合。在上文中描述的机器人驾驶系统10/50的功能可以借助由基于计算机的控制系统执行的指令来控制，该基于计算机的控制系统可以收容在控制系统11中。适于与在上文中描述的实施方式一起使用的控制系统例如可以包括连接到通信总线的一个或更多个处理器、一个或更多个易失性存储器(例如，随机存取存储器RAM)或非易失性存储器(例如，闪存)。辅助存储器(例如，硬盘驱动器、可移动存储驱动器和/或可移动存储芯片(诸如EPROM、PROM或闪存))可以用于存储要加载到计算机系统中的数据、计算机程序或其他指令。
例如，计算机程序(例如，计算机控制逻辑)可以从辅助存储器加载到主存储器，以由控制系统11的一个或更多个处理器来执行。另选地或另外地，计算机程序可以经由通信接口来接收。这种计算机程序在被执行时使得计算机系统能够执行如这里讨论的本发明的特定特征。具体地，计算机程序在被执行时使得控制处理器能够执行和/或使得执行本发明的特征。因此，这种计算机程序可以实施计算机系统的控制器。
在机器人驾驶系统10/50的模块和/或单元使用软件实施的实施方式中，软件可以存储在计算机程序产品中，并且使用可移动存储驱动器、存储芯片或通信接口加载到计算机系统中。控制逻辑(软件)在由控制处理器执行时使得控制处理器执行如这里描述的本发明的特定功能。
在另一个实施方式中，机器人驾驶系统10/50的模块和/或单元的特征主要使用例如硬件部件(诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA))在硬件中实施。硬件状态机实施为执行这里描述的功能将对相关领域技术人员明显。在又一个可能的实施方式中，本发明的特征可以使用硬件和软件这两者的组合来实施。
虽然已经描述了本发明的特定实施方式，然而将理解的是，因为本领域技术人员特别是可以鉴于前述示教进行修改，所以本发明不限于此。如技术人员将理解的，本发明可以采用来自上述实施方式的多于一种技术以各种各样的方式来进行，这些方式都不超出本发明的范围。

Claims (42)

1.一种用于将车辆驾驶到目的地的机器人系统，所述机器人系统包括：
支撑构件，所述支撑构件被配置为将所述机器人系统快速固定到所述车辆的驾驶员座椅；
成像系统，该成像系统被配置且能够操作为获取所述车辆的内部的至少一部分的图像数据和所述车辆的外部周围环境的图像数据；和
控制系统，该控制系统被配置且能够操作为
处理并分析由所述成像系统获取的所述图像数据，在所述车辆的所述内部的所述至少一部分的所述图像数据中识别车俩状态指示器的图像数据并从其确定所述车辆的至少车辆状态数据，
从外部周围环境的所述图像数据确定道路状态数据，并且
分析所述至少车辆状态数据和所述道路状态数据以因此生成用于沿着所述道路驾驶所述车辆的控制指令。
2.根据权利要求1所述的机器人系统，所述机器人系统还包括致动器操纵系统，该致动器操纵系统被配置且能够操作为联接到所述车辆的致动器并且根据由所述控制系统生成的所述控制指令能够控制地改变所述致动器的操作状态。
3.根据权利要求1所述的机器人系统，其中，所述控制系统被配置并能够操作为接收指示所述车辆的当前位置的位置数据和道路数据，并且至少部分基于所述位置数据和所述道路数据确定用于将所述车辆驾驶到所述目的地的路线。
4.根据权利要求2所述的机器人系统，其中，所述控制系统被配置并能够操作为接收指示所述车辆的当前位置的位置数据和道路数据，并且至少部分基于所述位置数据和所述道路数据确定用于将所述车辆驾驶到所述目的地的路线。
5.根据权利要求3所述的机器人系统，所述机器人系统包括定位单元，该定位单元被配置且能够操作为确定所述车辆的所述当前位置。
6.根据权利要求4所述的机器人系统，所述机器人系统包括定位单元，该定位单元被配置且能够操作为确定所述车辆的所述当前位置。
7.根据权利要求3所述的机器人系统，所述机器人系统包括无线通信单元，该无线通信单元被配置且能够操作为与远程计算机系统进行数据通信以经由所述无线通信单元接收至少所述道路数据。
8.根据权利要求4所述的机器人系统，所述机器人系统包括无线通信单元，该无线通信单元被配置且能够操作为与远程计算机系统进行数据通信以经由所述无线通信单元接收至少所述道路数据。
9.根据权利要求5所述的机器人系统，所述机器人系统包括无线通信单元，该无线通信单元被配置且能够操作为与远程计算机系统进行数据通信以经由所述无线通信单元接收至少所述道路数据。
10.根据权利要求1、2、3、4、5、6、7、8或9所述的机器人系统，所述机器人系统包括用于与用户传递数据的用户接口单元。
11.根据权利要求10所述的机器人系统，其中，所述用户接口单元包括数据通信装置，该数据通信装置被配置且能够操作为与用户装置传递数据以经由所述数据通信装置接收指示所述车辆的当前位置的位置数据和道路数据中的至少一个。
12.根据权利要求10所述的机器人系统，所述机器人系统包括音频输入装置，该音频输入装置用于经由所述用户接口单元从用户接收指示所述目的地和车辆操作指令中的至少一个的可听指令。
13.根据权利要求11所述的机器人系统，所述机器人系统包括音频输入装置，该音频输入装置用于经由所述用户接口单元从用户接收指示所述目的地和车辆操作指令中的至少一个的可听指令。
14.根据权利要求10所述的机器人系统，所述机器人系统包括音频输出装置，该音频输出装置用于经由所述用户接口单元向所述用户输出可听信息。
15.根据权利要求11所述的机器人系统，所述机器人系统包括音频输出装置，该音频输出装置用于经由所述用户接口单元向所述用户输出可听信息。
16.根据权利要求12所述的机器人系统，所述机器人系统包括音频输出装置，该音频输出装置用于经由所述用户接口单元向所述用户输出可听信息。
17.根据权利要求13所述的机器人系统，所述机器人系统包括音频输出装置，该音频输出装置用于经由所述用户接口单元向所述用户输出可听信息。
18.根据权利要求1所述的机器人系统，其中，所述支撑构件包括底座组件，所述底座组件被配置为容纳致动器操纵系统并且被固定到所述车辆的驾驶员座椅。
19.根据权利要求2所述的机器人系统，其中，所述支撑构件包括底座组件，所述底座组件被配置为容纳所述致动器操纵系统并且被固定到所述车辆的驾驶员座椅。
20.根据权利要求19所述的机器人系统，其中，所述致动器操纵系统包括至少制动踏板操纵系统、油门踏板操纵系统以及方向盘操纵系统。
21.根据权利要求20所述的机器人系统，其中，所述方向盘操纵系统弹性地联接到所述支撑构件，以允许所述方向盘操纵系统沿着其平移轴线中的至少一个平移轴线的运动。
22.根据权利要求20所述的机器人系统，其中，所述致动器操纵系统还包括至少一个控制杆操纵系统，该至少一个控制杆操纵系统被配置并能够操作为致动所述车辆的至少齿轮系统。
23.根据权利要求21所述的机器人系统，其中，所述致动器操纵系统还包括至少一个控制杆操纵系统，该至少一个控制杆操纵系统被配置并能够操作为致动所述车辆的至少齿轮系统。
24.根据权利要求1所述的机器人系统，其中，所述成像系统被配置为获取指示所述车辆的控制板上的所述状态指示器的图像数据，以及获取指示所述车辆的前侧外部周围环境的前图像数据。
25.根据权利要求10所述的机器人系统，其中，所述成像系统被配置为获取指示所述车辆的控制板上的所述状态指示器的图像数据，以及获取指示所述车辆的前侧外部周围环境的前图像数据。
26.根据权利要求24所述的机器人系统，其中，所述成像系统包括至少两个成像器单元，所述至少两个成像器单元包括：用于获取指示所述车辆的所述控制板上的所述状态指示器的所述图像数据的面板成像器单元和用于获取指示所述车辆的前侧外部周围环境的所述前图像数据的前视成像器。
27.根据权利要求25所述的机器人系统，其中，所述成像系统包括至少两个成像器单元，所述至少两个成像器单元包括：用于获取指示所述车辆的所述控制板上的所述状态指示器的所述图像数据的面板成像器单元和用于获取指示所述车辆的前侧外部周围环境的所述前图像数据的前视成像器。
28.根据权利要求24所述的机器人系统，其中，所述成像系统包括后成像器单元，该后成像器单元用于获取所述车辆的所述外部周围环境的后视图像数据。
29.根据权利要求25所述的机器人系统，其中，所述成像系统包括后成像器单元，该后成像器单元用于获取所述车辆的所述外部周围环境的后视图像数据。
30.根据权利要求26所述的机器人系统，其中，所述成像系统包括后成像器单元，该后成像器单元用于获取所述车辆的所述外部周围环境的后视图像数据。
31.根据权利要求27所述的机器人系统，其中，所述成像系统包括后成像器单元，该后成像器单元用于获取所述车辆的所述外部周围环境的后视图像数据。
32.根据权利要求24所述的机器人系统，其中，所述成像系统还被配置为获取指示所述车辆的所述外部周围环境的左视和由所述车辆的左侧反射镜反射的左侧后视中的至少一个的图像数据，以及被配置为获取指示所述车辆的所述外部周围环境的右视和由所述车辆的右侧反射镜反射的右侧后视中的至少一个的图像数据。
33.根据权利要求25所述的机器人系统，其中，所述成像系统还被配置为获取指示所述车辆的所述外部周围环境的左视和由所述车辆的左侧反射镜反射的左侧后视中的至少一个的图像数据，以及被配置为获取指示所述车辆的所述外部周围环境的右视和由所述车辆的右侧反射镜反射的右侧后视中的至少一个的图像数据。
34.根据权利要求26所述的机器人系统，其中，所述成像系统还被配置为获取指示所述车辆的所述外部周围环境的左视和由所述车辆的左侧反射镜反射的左侧后视中的至少一个的图像数据，以及被配置为获取指示所述车辆的所述外部周围环境的右视和由所述车辆的右侧反射镜反射的右侧后视中的至少一个的图像数据。
35.根据权利要求28所述的机器人系统，其中，所述成像系统还被配置为获取指示所述车辆的所述外部周围环境的左视和由所述车辆的左侧反射镜反射的左侧后视中的至少一个的图像数据，以及被配置为获取指示所述车辆的所述外部周围环境的右视和由所述车辆的右侧反射镜反射的右侧后视中的至少一个的图像数据。
36.根据权利要求32所述的机器人系统，其中，所述成像系统包括：左成像器单元，该左成像器单元用于获取指示所述车辆的所述外部周围环境的左视和由所述车辆的所述左侧反射镜反射的左侧后视中的至少一个的所述图像数据；和右成像器单元，该右成像器单元用于获取指示所述车辆的所述外部周围环境的右视和由所述车辆的所述右侧反射镜反射的右侧后视中的至少一个的所述图像数据。
37.根据权利要求33所述的机器人系统，其中，所述成像系统包括：左成像器单元，该左成像器单元用于获取指示所述车辆的所述外部周围环境的左视和由所述车辆的所述左侧反射镜反射的左侧后视中的至少一个的所述图像数据；和右成像器单元，该右成像器单元用于获取指示所述车辆的所述外部周围环境的右视和由所述车辆的所述右侧反射镜反射的右侧后视中的至少一个的所述图像数据。
38.一种将车辆自动驾驶到目的地的方法，所述方法包括以下步骤：
将机器人系统的支撑构件固定到所述车辆的驾驶员座椅；
接收指示至少所述车辆的状态指示器和所述车辆的外部周围环境的图像数据；
在所接收的图像数据中识别至少所述状态指示器的状态和所述车辆的所述外部周围环境中的对象，并且基于所识别的状态指示器和对象分别生成车辆状态数据和道路状态数据；以及
至少部分基于所述车辆状态数据和所述道路状态数据生成控制指令以由所述机器人系统将所述车辆驾驶到所述目的地。
39.根据权利要求38所述的方法，所述方法包括以下步骤：接收指示所述车辆的当前位置的位置数据以及基于所述位置数据确定到所述目的地的路线。
40.根据权利要求38所述的方法，其中，所述识别的步骤包括：在所述图像数据中检测道路车道和道路弯道中的至少一个，以及生成指示道路车道和道路弯道中的该至少一个的能够用于在所驾驶的道路上对所述车辆进行导航的车道数据。
41.根据权利要求39所述的方法，其中，所述识别的步骤包括：在所述图像数据中检测道路车道和道路弯道中的至少一个，以及生成指示道路车道和道路弯道中的该至少一个的能够用于在所驾驶的道路上对所述车辆进行导航的车道数据。
42.根据权利要求38至41中任一项所述的方法，所述方法包括以下步骤：追踪所识别的对象中的至少一个并生成指示该对象的轨迹的轨迹数据，以及在确定到所述目的地的路线和生成所述控制指令中的至少一项中使用所述轨迹数据。
CN201680025983.1A 2015-05-05 2016-05-02 用于将车辆驾驶到目的地的机器人系统和方法 Active CN107614308B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562156911P 2015-05-05 2015-05-05
US62/156,911 2015-05-05
PCT/IL2016/050453 WO2016178213A1 (en) 2015-05-05 2016-05-02 Universal autonomous robotic driving system

Publications (2)

Publication Number Publication Date
CN107614308A CN107614308A (zh) 2018-01-19
CN107614308B true CN107614308B (zh) 2020-06-26

Family

ID=57218482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025983.1A Active CN107614308B (zh) 2015-05-05 2016-05-02 用于将车辆驾驶到目的地的机器人系统和方法

Country Status (7)

Country Link
US (1) US10613544B2 (zh)
EP (1) EP3292014B1 (zh)
JP (1) JP7023116B2 (zh)
CN (1) CN107614308B (zh)
ES (1) ES2891338T3 (zh)
IL (1) IL255095B (zh)
WO (1) WO2016178213A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6649477B2 (ja) * 2015-10-23 2020-02-19 ヤマハ発動機株式会社 ロボットおよびロボット制御システム
AU2018261100B2 (en) * 2017-05-02 2022-07-07 Gomaco Corporation Freesteering system for mobile machines
DE102018200435B3 (de) * 2017-07-31 2018-11-15 Volkswagen Aktiengesellschaft Kraftfahrzeug und Verfahren zum Steuern eines Roboters
CN107571867B (zh) * 2017-09-05 2019-11-08 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
KR102374919B1 (ko) * 2017-10-16 2022-03-16 주식회사 만도모빌리티솔루션즈 자율주행 지원 장치 및 방법
CN110871813A (zh) * 2018-08-31 2020-03-10 比亚迪股份有限公司 虚拟机器人的控制方法、装置、车辆、设备和存储介质
JP6780806B1 (ja) * 2019-03-25 2020-11-04 株式会社明電舎 車両自動運転装置の支持構造
US11474002B2 (en) 2019-03-25 2022-10-18 Meidensha Corporation Vehicle automated driving device for mounting a pedal actuator
JP6787531B1 (ja) 2019-03-25 2020-11-18 株式会社明電舎 車両自動運転装置のトランスミッションアクチュエータ取付構造
US11440404B2 (en) * 2019-03-25 2022-09-13 Meidensha Corporation Pedal actuator of vehicle automated driving device
JP6750760B1 (ja) 2019-03-25 2020-09-02 株式会社明電舎 車両自動運転装置のトランスミッションアクチュエータ取付構造
US11453116B2 (en) 2019-03-25 2022-09-27 Meidensha Corporation Transmission actuator support structure for vehicle automated driving device
CN112041773A (zh) * 2019-03-29 2020-12-04 百度时代网络技术（北京）有限公司 自动驾驶车辆的规划和控制之间的通信协议
CN110103221A (zh) * 2019-05-21 2019-08-09 深圳市超时空机器人有限公司 一种远程驾驶方法、设备及其系统
KR102636002B1 (ko) * 2019-06-18 2024-02-08 엘지전자 주식회사 음성인식 로봇에 사용되는 사운드 처리방법
CN110519703A (zh) * 2019-08-28 2019-11-29 北京易控智驾科技有限公司 一种矿车无人驾驶系统
CN110481601B (zh) * 2019-09-04 2022-03-08 深圳市镭神智能系统有限公司 一种轨道检测系统
KR102234194B1 (ko) * 2019-11-08 2021-03-31 재단법인대구경북과학기술원 자율주행차동차의 제어권 전환 안전성 평가 장치 및 이를 이용하는 평가 방법
US11820356B2 (en) 2019-12-20 2023-11-21 Humanetics Austria Gmbh System and method for force compensation in a robotic driving system
CN113276861B (zh) * 2021-06-21 2023-03-28 上汽通用五菱汽车股份有限公司 车辆控制方法、车辆控制系统及存储介质
CN115056849B (zh) * 2022-07-25 2023-03-14 珠海骏驰智联科技有限公司 一种基于视觉检测的汽车智能驾驶方法、装置及存储介质
CN117067228B (zh) * 2023-08-23 2024-03-26 中国人民解放军95791部队 用于驾驶有人机的机器人

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3435703A (en) 1967-04-26 1969-04-01 Earl Allgaier Dual control vehicle brake system for driver training automobiles
DE3663198D1 (en) 1986-03-04 1989-06-08 Schenck Ag Carl Reference platform for an arrestable alignment
DE3940588A1 (de) 1989-12-08 1991-06-13 Georg Witt Fahrroboter
JPH0619307B2 (ja) 1990-12-30 1994-03-16 株式会社堀場製作所 自動車自動運転ロボットの制御方法
JPH0743296B2 (ja) 1991-01-16 1995-05-15 株式会社堀場製作所 自動車自動運転ロボットの制御方法
JPH05312686A (ja) 1992-05-09 1993-11-22 Horiba Ltd 自動車自動運転ロボットの制御方法
US5816106A (en) 1996-05-02 1998-10-06 Chrysler Corporation Column shifter linkage for robotic control of vehicle
US5821718A (en) 1996-05-07 1998-10-13 Chrysler Corporation Robotic system for automated durability road (ADR) facility
US5999865A (en) 1998-01-29 1999-12-07 Inco Limited Autonomous vehicle guidance system
JP2000338006A (ja) 1999-05-28 2000-12-08 Horiba Ltd 自動車運転システム、自動車運転システムの車両データ設定方法、および、車両制御プログラムを記録した記録媒体
US7113867B1 (en) 2000-11-26 2006-09-26 Mobileye Technologies Limited System and method for detecting obstacles to vehicle motion and determining time to contact therewith using sequences of images
JP2004093354A (ja) 2002-08-30 2004-03-25 Casio Comput Co Ltd 運転情報出力装置およびプログラム
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
JP4020128B2 (ja) * 2005-04-22 2007-12-12 トヨタ自動車株式会社 目標位置設定装置およびそれを備えた駐車支援装置
JP2007112400A (ja) 2005-10-24 2007-05-10 Denso Corp 車両周囲確認装置
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
US8139109B2 (en) 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US8051936B1 (en) 2006-08-30 2011-11-08 The United States Of America As Represented By The Secretary Of The Navy Human-portable remote control driving system
US7628239B1 (en) 2006-08-30 2009-12-08 The United States Of America As Represented By The Secretary Of The Navy Adaptable remote control driving system
US8532862B2 (en) 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
US8090489B2 (en) 2007-11-09 2012-01-03 Bruno Delean Computerized driverless vehicles and traffic control system
US8255093B2 (en) * 2008-08-29 2012-08-28 Raytheon Company Kit to adapt an automotive vehicle for remote operation, automotive remote control conversion pedestal, and system
US8319666B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US8365634B2 (en) * 2009-09-17 2013-02-05 Exelis Inc. Universal actuation and control of steering mechanisms for mobile vehicles
US8346426B1 (en) * 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
US8260482B1 (en) 2010-04-28 2012-09-04 Google Inc. User interface for displaying internal state of autonomous driving system
JP5523954B2 (ja) 2010-06-30 2014-06-18 富士通テン株式会社 画像表示システム
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US8078349B1 (en) 2011-05-11 2011-12-13 Google Inc. Transitioning a mixed-mode vehicle to autonomous mode
KR20130085235A (ko) * 2012-01-19 2013-07-29 김동용 자동차의 무인 운전 시스템
EP2815383B1 (en) 2012-02-15 2017-08-16 Mobileye Vision Technologies Ltd. Time to collision using a camera
DE102012015968A1 (de) 2012-08-11 2014-03-06 Audi Ag Verfahren zum fahrerlosen Bewegen eines Fahrzeugs auf einer Parkfläche
CN102881156A (zh) 2012-09-29 2013-01-16 北京龙德天地科技有限公司 一种通道式无人驾驶自主行驶智能公共交通系统
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
JP5708669B2 (ja) 2013-01-18 2015-04-30 株式会社デンソー 車両用表示装置
JP2014174081A (ja) 2013-03-12 2014-09-22 Panasonic Corp 車載用ナビゲーション装置及びナビゲーションシステム
CN104002818A (zh) * 2014-05-27 2014-08-27 昆山市智汽电子科技有限公司 一种集互动与自动为一体的车载系统

Also Published As

Publication number Publication date
JP2018520408A (ja) 2018-07-26
WO2016178213A1 (en) 2016-11-10
IL255095B (en) 2021-05-31
EP3292014A4 (en) 2019-01-02
JP7023116B2 (ja) 2022-02-21
US20180284801A1 (en) 2018-10-04
CN107614308A (zh) 2018-01-19
US10613544B2 (en) 2020-04-07
EP3292014A1 (en) 2018-03-14
EP3292014B1 (en) 2021-07-14
IL255095A0 (en) 2017-12-31
ES2891338T3 (es) 2022-01-27

Similar Documents

Publication Publication Date Title
CN107614308B (zh) 用于将车辆驾驶到目的地的机器人系统和方法
US20210365750A1 (en) Systems and methods for estimating future paths
US10248116B2 (en) Remote operation of autonomous vehicle in unexpected environment
US10929995B2 (en) Method and apparatus for predicting depth completion error-map for high-confidence dense point-cloud
US20190351732A1 (en) Thermal system topology of cascaded refrigerant and coolant circuits
JP5045172B2 (ja) 車両用運転支援装置
US10843722B2 (en) Systems and methods for controlling an input device of an autonomous vehicle
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN105991942B (zh) 车辆及用于控制车辆的方法
CN111886854B (zh) 曝光控制装置、曝光控制方法、程序、成像装置和移动体
US20230215196A1 (en) Information processing apparatus, information processing method, and program
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN111208814A (zh) 用于自动车辆的、利用动态模型的、基于记忆的最优运动规划
WO2019073795A1 (ja) 情報処理装置、自己位置推定方法、プログラム、及び、移動体
US11110970B2 (en) Removable interior for reconfigurable vehicles
CN110741631A (zh) 车辆的图像提供系统、服务器系统及车辆的图像提供方法
US11550322B1 (en) External environment sensor data prioritization for autonomous vehicle
CN109952227A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
CN112061244B (zh) 用于可重配置的交通工具的可移除的内部部分
US11526175B1 (en) Sensor data prioritization for autonomous vehicle based on vehicle operation data
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2022172928A (ja) 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム
CN117990383A (zh) 测试漫游器设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: H. Gutmann

Inventor after: O Yeqieer

Inventor before: H. Gutmann

Inventor before: O Yeqieli

GR01 Patent grant
GR01 Patent grant