CN1915725B - 驾驶员辅助系统 - Google Patents

驾驶员辅助系统 Download PDF

Info

Publication number
CN1915725B
CN1915725B CN2006100867089A CN200610086708A CN1915725B CN 1915725 B CN1915725 B CN 1915725B CN 2006100867089 A CN2006100867089 A CN 2006100867089A CN 200610086708 A CN200610086708 A CN 200610086708A CN 1915725 B CN1915725 B CN 1915725B
Authority
CN
China
Prior art keywords
subsystem
scene
vehicle
signal
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006100867089A
Other languages
English (en)
Other versions
CN1915725A (zh
Inventor
克里斯汀·歌瑞克
杰斯·盖科
马丁·谢奈德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of CN1915725A publication Critical patent/CN1915725A/zh
Application granted granted Critical
Publication of CN1915725B publication Critical patent/CN1915725B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/10—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle 
    • B60K28/16—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle  responsive to, or preventing, skidding of wheels
    • B60K28/165—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the vehicle  responsive to, or preventing, skidding of wheels acting on elements of the vehicle drive train other than the propulsion unit and brakes, e.g. transmission, clutch, differential
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明公开了一种驾驶员辅助系统，具有用于与驾驶员辅助、乘客安全和舒适性，以及与外部系统的通信有关的应用程序，例如用于诊断和维护目的的应用程序的通用架构，该系统包括：第一接口(18)，用于感测来自车辆(12)环境(10)的外部信号；第二接口(20)，用于感测车辆(12)的内部信号；第一子系统(26，28)，用于融合第一接口(18)和第二接口(20)的输出信号，以便生成车辆环境(10)的表示；第二子系统(30)，用于模拟车辆(12)的当前状态，并被提供第一子系统(26)的输出信号；第三子系统(32)，用于模拟驾驶员(14)的行为；第四子系统(36)，用于解释由第一子系统(28)表示的当前场景，以便确定该车辆(12)当前外部情形的特性状态；以及第五子系统(38，40)，基于第二、第三和第四子系统(30，32，36)的输出信号，生成对车辆(12)的执行机构(42)和/或驾驶员(14)的激励。

Description

驾驶员辅助系统
技术领域
本发明涉及一种驾驶员辅助系统，以及涉及一种相应的方法和计算机程序。
驾驶员辅助系统是用于车辆或智能车辆技术的控制系统，其目的在于提高交通参与者的舒适性和安全性。这些系统的潜在应用包括车道偏离警告、车道保持、碰撞警告或避免、交通拥挤中的自适应持续速度自行保持控制和低速自动控制。
因此，本发明上下文中的驾驶员辅助系统能够“辅助”驾驶员触发或执行的动作，而且还能够自发地启动和执行车辆的控制动作。
背景技术
单独一个上述应用通常已经要求多个独立传感器和用于传感器控制的电子控制单元(ECU)，这些ECU用于分析传感器数据并生成适当的输出信号。例如，雷达(RADAR，无线电探测和测距)，和激光雷达(LIDAR，光探测和测距)传感器能够精确地测量要感测对象的距离，但是它们不能提供任何与所感测对象有关的语义信息(例如，车辆所在的车道、所感测对象的类型)。这些信息需要额外地用摄像机或照相机来搜集。
由于提高安全性和支持驾驶员和乘客新的舒适功能的一般倾向，这些应用程序中每一个的复杂性以及现代车辆中的应用程序的数目正日益增长，并且在将来会进一步地增长。基本上，具有若干传感器系统的车辆意味着相应的ECU数目，其中所有的ECU执行它们与其他ECU无关的任务。
众所周知，在车辆中有一个总线系统，例如“CAN”(控制器区域网络)总线，大多数或所有的ECU通过该网络相连。该CAN总线允许在所连接的ECU之间交换数据。然而，结果却是仅仅通过将若干传感器和/或应用程序加到一起，并将它们用总线互连，关于比如可靠性或稳定性和鲁棒性的方面，只能够令人满意地创建简单的驾驶员辅助系统。
不过，我们的目的在于进一步增强安全性，提供更舒适的功能，并且与此同时限制开发这些新的和/或增强的安全和舒适性的成本。因此，需要将迄今为止的独立传感器系统集成为单一的信息系统，该系统积极地控制车辆。
然而，这种行为生成的一般模型都不是已知的。现有的辅助驾驶员系统包括一个传感器或若干传感器，并且为特定的应用程序专门设计后继的传感器数据处理步骤。为了实现更多的应用程序，实质上要求系统的重新设计。
发明内容
鉴于以上内容，本发明的一个目的在于提供一种基于弹性架构的驾驶员辅助系统，从而它能够易于适应。
本发明的又一个目的在于提供一种与现有系统相比，能够显著地提高安全和舒适性的驾驶员辅助系统，
本发明的另一个目的在于提供一种驾驶员辅助系统或相应的方法，它允许共享有限的资源，例如在能源消耗，计算能力或空间等方面。
本发明的再一个目的在于提供一种驾驶员辅助系统，能够进行鲁棒预测并能够完成复杂行为。
本发明的另一目的在于提供一种模块化架构思想，它易于在感觉侧并入新的元件，例如用于增强内部处理的新应用程序或单元。
本发明的又一个目的在于提供一种驾驶员辅助系统，它能够实现实时控制和动作选择。
上述目的借助于所附独立权利要求的特征来实现。在从属权利要求中限定了有益的特征。
根据本发明的第一方面，提出一种驾驶员辅助系统，其中该系统包括第一接口，用于感测来自车辆环境的外部信号；和第二接口，用于感测该车辆的内部信号。此外，配备第一子系统，用于融合第一接口和第二接口的输出信号，以便生成车辆环境的表示和车辆的内部信号。向第二子系统提供第一子系统的输出信号，以模拟该车辆的当前状态。第三子系统用来模拟驾驶员的行为。第四子系统适于解释用第一子系统表示的当前场景，以便确定该车辆当前外部情形的特性状态。配备第五子系统，基于第一、第二、第三和第四子系统的输出信号，生成对车辆的执行机构和/或驾驶员的激励(stimulus)。
第五子系统可以被设计为根据当前场景，使用额外的交通规则。
第五子系统可以适于向第四子系统反馈信号，该信号尤其表示与所生成的激励相关的信息。第四子系统可以适于响应第五子系统的反馈信号，解释当前场景。
根据本发明的另一方面，提出一种驾驶员辅助系统，其中该系统包括第一接口，用于感测来自车辆环境的外部信号；和第二接口，用于感测该车辆的内部信号。此外，配备第一子系统，用于融合第一接口和第二接口的输出信号，以便生成车辆环境的表示和车辆的内部信号。第二子系统用来模拟车辆的当前状态，并被提供第一子系统的输出信号，第三子系统用来模拟驾驶员的行为。配备第四子系统，用于解释用第一子系统表示的当前场景，并且基于第二和第三子系统的输出信号，生成对车辆的执行机构和/或驾驶员的激励。
第四子系统可以被设计为根据当前场景，使用额外的交通规则。
第四子系统可以包括场景描述子系统，用于提供外部场景的全局描述，它适于通过第一子系统的输出信号确定全局场景，该输出信号表示该车辆当前外部情形的特性特征，并且该场景描述子系统适于输出表示所确定全局场景的信号。用于生成对车辆的执行机构和/或驾驶员的激励的子系统可以适于响应所述场景描述子系统的输出信号，生成这些激励。
场景描述子单元可以提供用于交通规则选择的输出信号。
第四子系统可以适于进一步生成对第三子系统的激励。第三子系统可以适用于响应第四子系统的输入信号，以及响应来自人机接口的表示驾驶员动作的输入信号，模拟驾驶员的行为。
用于生成对执行机构和/或驾驶员的激励的子系统可以进一步适于响应来自乘客监控的输入信号，生成这些激励。
第一子系统可以为行为生成系统提供表示物理对象描述的输出信号。
第一子系统可以包括信息提取和数据映射模块，用于处理由第一接口传递的传感器数据；信息融合(information fusion)模块，用于融合第一和第二接口的输出信号所表示的信息；知识库，用于存储带有相关属性和性质的对象；和场景表示模块，用于表示外部场景。
信息融合模块可以向知识库提供表示所确定对象的对象信号，它响应于该对象信号，可以向场景表示模块提供表示所确定对象的属性和/或性质的属性信号。
信息融合模块可以包括特征子模块，用于根据从第一接口的输出提取的特征，确定假设对象性质；并且可以进一步包括对象子模块，用于将特征绑定到对象上，并且用于对象追踪。
知识库可以向信息融合模块的追踪模块提供关于所确定对象的可能运动的约束条件，以便降低对象追踪进程期间的模糊性。此外，知识库的输出信号可以为对象追踪模块提供用于选择适当动作模型的信息。
特征子模块能够向场景表示模块提供表示全局场景信息的信号，它能够适于基于该全局场景信息来确定约束条件。
用于模拟驾驶员行为的第三子系统能够向与一般映射配置有关的场景表示模块提供输入信号。
提供一种配备有上述根据本发明任一方面的系统的车辆。
根据本发明的另一方面，提出一种用于辅助车辆驾驶员的方法，其中这些方法的特征和优点由上述独创性系统的特征和优点产生。
根据本发明的又一方面，提出一种用于过滤所表示场景的方法，以便集中于该表示的那些对象上，这些对象在该情况的当前情境下是相关的。
根据本发明的又一方面，提出一种计算机软件程序产品，执行上述方法。
该程序产品可以包括固件，适合于将固件闪存到车辆的可编程设备中。
根据本发明的另一方面，提出一种存储设备，例如CD-ROM或DVD-ROM，在该存储设备上存储有该独创性的计算机软件程序产品。
为了可靠地实现上述目的，本发明提出一种使若干先验的独立传感器系统合成一体的驾驶员辅助系统，该驾驶员辅助系统执行车辆环境的中心模型。该模型通过分析由不同种类的传感器传递的数据而获得。其共同表示构成执行该系统复杂行为的基础，例如生成驾驶员的警告消息，和/或用于与该系统相连的车辆的各种执行机构的控制命令。
本发明提出一种用于驾驶员辅助系统的通用架构，并因此有别于现有技术，根据现有技术将专门的独立存在传感器系统相互连接。在本发明的系统内，并不将传感器专门分配给特定的应用程序，而是将大量内部和外部传感器集成到系统中，以便得到上述的环境的中心表示。因此，可以定义新的应用程序，而不会导致车辆的传感器池的任何变化。
根据以上内容，显然信息融合(数据融合)是该独创性驾驶员辅助系统的一个重要方面。例如，通过图像处理平台获取的对象信息必须与源自其他传感器的数据融合，例如RADAR数据，以便得到所感测环境的统一描述。
利用符号信息，评估融合过程的结果，即场景表示，并且创建行为。
由于根据本发明的驾驶员辅助系统独立于驾驶员来运行，向驾驶员输出信息或者作用于车辆的执行机构，因此贯穿于本文献中，该系统偶尔也可以称作“代理(agent)”。
在下文中概述了本发明的某些优点。
驾驶员辅助系统的架构基于车辆环境和自身状态的中心表示。因此本发明能够节约有限的资源，例如能源、计算能力和空间。根据本发明的公用架构内执行的各种辅助功能共享这些资源。此外，根据本发明，协调或集成若干个控制中心，因此稳定了整个系统。
该表示以适当的形式产生复杂的或高级行为，这是因为该独创性代理允许集成或随时间稳定若干个信息流，从而确保鲁棒性。
该独创性代理还提供对可获取信息的即时访问，以进行高级实时控制和动作选择。由于在技术上解释场景的所有细节是不可行的，因此通过预测来组织和支持该感觉，通过这种方式能够实现复杂的行为。
该独创性模型描述了一种开放的模块化结构，能够易于调换元件(子系统、模块、单元)以便以最小的成本和精力，追随技术的进步。最后，该模型还能够容易地考虑人为因素。
附图说明
通过所附权利要求以及关于附图对本发明实施例的随后描述，本发明的其他方面和优点将变得清楚明白，在附图中示出了：
图1以功能方框图的形式示出了根据本发明的驾驶员辅助系统的实施例；
图2以示意性的形式示出了图1实施例的信息融合、场景表示和解释子系统的细节。
具体实施方式
在附图中，相同的参考数字用于相同或类似的元素。
图1以功能方框图的形式图示了独创性驾驶员辅助系统的特定实施例。该系统与其环境10、与环境10交互的车辆12、驾驶员14以及可能的附加乘客16相联系。
该驾驶员辅助系统可以作为代理实现在该车辆中，即作为例如自动运行的软件系统(固件)，举例来说将该软件系统闪存到可编程设备(未示出)中作为车辆12的一部分。该设备既可以是单一的中央处理单元，或者还可以包括遍及整个车辆12分布的若干个处理器。
图1在细节上示出了该独创性代理和驾驶员14之间的交互。为了清楚起见，省略了其他可能的与外部系统或人员——例如汽车修理厂的维修人员之间的交互。
首先，概略地描述该系统的功能部件。大体上，该代理包括输入平台(用于输入数据的接口)，处理平台和输出平台(用于输出数据的接口)。两个预处理单元18，20构成输入平台。它们分别与外部感测22(例如，雷达、激光雷达、视频、GPS、电子交通报告、车辆与车辆间通信、数字地图等等)和内部感测24(例如，速度、加速度、偏航率、倾角，高度等等)相连。单元18，20连接至驾驶员辅助系统的第一子系统，该驾驶员辅助系统的第一子系统包括信息融合模块26、场景表示模块28和知识数据库58，向该知识数据库58提供信息融合模块26的对象信息，并且该知识数据库58向场景表示模块28输出对象的属性。
场景表示模块28存储外部感测模块22捕获的所有相关对象(以及从知识数据库58提供的这些对象的属性)。每一个对象均由它的一组属性描述(例如，诸如软/硬的物理特性)及其相对于自我为中心的车辆坐标系的相对位置组成。另外，可以在场景表示模块28中存储从信息融合模块26传递的诸如“小汽车”或“步行者”的对象种类方面的语义信息，以及更多抽象信息，比如在特定区域中交通阻塞的出现。
在图2的描述中解释说明了各种细节。
信息融合模块26组合所有来自预处理单元18和20的供给信息，以便确定环境的一致表示，该表示存储在场景表示模块28中。通过对所融合信息的瞬时追踪，以及请求由模块28传递的当前可用对象描述以及由预处理模块18和20提供的新的传感器数据，实现场景表示的鲁棒性。因此，模块26和28是高度互连的。在图2的描述中解释说明各种细节。
经预处理的内部感测信号进一步提供给第二子系统，即车辆模型子系统30。
车辆模型子系统30被设计为基于由模块24传递的内部测量结果，估计车辆的内部状态。它首先是用作状态空间观察器(例如卡尔曼滤波器)，以便在当某些内部传感器出现故障的情况下产生鲁棒的状态估计。其次，它向该代理提供其自身物理动态的知识，允许动作选择模块38确定是否可以完成取决于物理约束条件的所有计划动作。
举例来说，一个重要的估计就是车辆的质量，当运载许多乘客时车辆的质量可能发生变化。车辆的质量强烈地影响可能的加速和减速，因此必须在碰撞避免操作中加以考虑。
在第三子系统中，将驾驶员模型子系统32连接至由驾驶员14操控的人机接口(HMI)34。
驾驶员模型子系统32用来通过观察来自人机接口(HMI)34的驾驶员的动作，以及由模块36解释的当前场景，来确定驾驶员的意图。该意图对于在模块38中的动作选择过程期间选择最佳动作非常重要。举例来说，如果激活了方向指示灯，并且场景解释(interpretation)模块在相应的方向上未检测到障碍物，则不必去激活用于车道保持/车道偏离警告的横向控制，以便完成车道变化操作。
场景表示模块28连接至场景解释模块36，场景解释模块36又连接至动作选择/组合子系统38。该子系统38连接至代理的输出平台，该代理的输出平台主要包括(低级)行为生成模块40，该行为生成模块40连接至车辆执行机构42，例如用于油门、制动器、换档、方向盘的执行机构，以及用于安全气囊、安全带预紧器的安全执行机构，等等。
场景解释模块36分析关于所检测对象的、模块28的所表示场景。举例来说，它基于所检测的车道边界生成车道信息，并且将交通标志分配给正确的车道。此外，确定相关的对象，例如在该车道上前方最近的车辆。场景解释模块36也根据当前任务，引导相关过滤过程，以便组织感觉和支持预测。
接下来描述在图1中图示的驾驶员辅助系统内的信息处理。用于感测车辆内部状态的传感器24可以包括用于检测速度、加速度、偏航率、倾角等等的传感器。传感器数据也通过适当的HMI 44传递给驾驶员。
HMI 44也可以将来自动作选择/组合系统38的警告通知给驾驶员14。
更多详细的信息可以提供给该辅助系统，例如该车辆每个轮子的速度。预处理模块20用作引入的感测信息的瞬时稳定和平滑单元。此外，它使该传感器信息适合于下行信息融合过程。例如，该信息可能适于该代理的处理平台的时间步长安排。
用于感测车辆环境10的传感器22可以传递例如视频、RADAR和LIDAR数据。此外，通过无线电信息的数据捕获，车辆与车辆间通信或数字地图可能用适当的设备来传递。预处理单元18包含适于预处理传感器数据的众多不同程序。两个单元18，20都将预处理的数据转发至信息融合模块26，在信息融合模块26将外部和内部数据进行融合。对于数据融合，可以使用神经网络。
将由融合过程得到的数据传递给场景表示模块28，在场景表示模块28建立表示车辆12的环境的场景。举例来说，该场景可以表示交通状况。一般而言，该场景表示包含所检测的对象，例如小汽车、摩托车和/或步行者，以及背景，例如包括街道、植被和/或天空。信息融合和场景表示的更为详细的描述将参照图2在后面给出。
与场景表示有关的数据也作为反馈，传递给信息融合模块26，以支持例如后续时间步长中的预测。
根据本发明，能够通过预测来组织和支持感觉。驾驶员模型子系统32通过HMI 34接收来自驾驶员14的数据。因此，模块32能够确定和预期驾驶员的意图，例如在多个车道道路(德国高速公路，...)上计划的车道变化操作。另外有关驾驶员的或有关乘客的数据从车辆12的内部感测45接收。在它们当中，内部感测45可以包括用于观察驾驶员眼睛的照相机。在驾驶员模型子系统32内，可视数据与其他数据一起可以共同产生关于驾驶员状态的结论，例如对他的或她的清醒/倦睡的估计。如后面所描述的，驾驶员模型32确定和表示由代理使用的驾驶员状态。
场景表示模块28的数据进一步在场景解释模块36内进行处理。
场景解释模块36向驾驶员模型子系统32输出信号。适当的数据可以包括例如关于至其他对象(其他车辆)的距离落到预定最小值以下，或者车辆(相对)速度高于预定值的语句表示。
此外，场景表示模块36向(全局)场景描述模块46提供信号。此处，记录全局情况或场景描述。最重要的情况分别涉及“城市的”或市区外的，“乡村的”环境。另外地或替代地，可能包含“超速干道”和“高速公路”的情况。将从预处理模块18提取的全局特征直接转发至场景描述模块46。
将来自场景解释模块36的数据馈送给模块28，以便例如在所表示的情况下引导注意/相关性过滤过程，从而集中于当前情形中的相关对象上。
来自场景描述模块46的数据被移交给(交通)规则选择模块48。该数据还可以包括从场景解释模块36转发的数据，例如涉及所检测交通标志或交通标志组合的场景解释。模块48包括交通标志和其他交通规则，以及全局场景描述的表示的一个列表，该列表中每一个记录均指向一个或更多交通规则，例如涉及最大速度，以及车道变换，禁止泊车或者象这类的规则。任意一种对全局场景和/或场景内对象的规则分配均可以作为规则选择模块48来实现。
代理的子系统38采集来自若干子系统和模块的数据。车辆模型30传递与所确定的车辆12状态有关的数据。驾驶员模型32传递与驾驶员14的状态有关的数据。场景解释模块36移交与所表示场景的状态变量有关的数据。场景描述模块46传递与全局情况和天气状况有关的数据。规则选择模块48传递与交通规则有关的数据，这些交通规则与车辆12或驾驶员14的未来动作相关。子系统38必须解释该数据，以便限定要采取的动作，并且可能要根据预定的例如有关安全的标准，对所要求的动作进行排列。同样也将相关的数据馈送给场景解释模块36。
子系统38能够生成警告消息，该警告消息直接送往驾驶员，并且通过HMI 44输出。合适的接口包括可视或听觉接口，例如LED、显示器或前部护罩上的数字或文本输出，或口头消息。
接下来，将与要采取的一个或多个动作有关的数据移交给代理的输出平台，即行为生成模块40，其中放置了驾驶员辅助模块，例如ACC、车道保持或碰撞避免功能。也可以从与对象的物理描述有关的场景表示模块28传递额外的数据。通过HMI 34从驾驶员14输入与驾驶员的意图有关的其他数据。在模块40中，上行流模块计算的动作合并在一起。例如，能够实现一种动作信号的分级结构，使得从驾驶员14(HMI 34)接收的动作信号具有最高的优先级。
模块40生成输出命令，并将这些命令输出给适当的执行机构42，例如油门和制动器，以及方向盘、换档和其他执行机构，包括与驾驶员和乘客有关的执行机构，例如安全气囊、预紧器，但是可以还包括内部照明、气候控制或窗口调节。
如此处描述的本发明的实施例提供了驾驶员和驾驶辅助代理之间的各种交互作用。相关的驾驶员动作用驾驶员模型来表示，并且还对行为生成造成直接影响。该代理通过警告，或者更一般地通过由场景解释模块生成的信息消息，并进一步通过控制有关驾驶员的执行机构，从而支持该驾驶员。因此，该独创性系统足以灵活地实现复杂的交互作用，并足以灵活地辅助驾驶员而无须照顾他。
图2以示意性的形式示出了第一子系统和第四子系统的功能细节，其中第一子系统用于融合所感测信息以便生成场景表示，第四子系统用于解释当前场景，从而使关于外部场景的某些有意义的信息可以用来选择最佳动作。
举例来说，外部感测模块22包括可视外部感测单元50和扩展外部感测单元52。可视外部感测单元50通过投射传感器元件，例如照相机，RADAR和LIDAR来获取所有的感测信息，而扩展外部感测单元52接收来自非投射元件的信息，例如数字地图数据，以及扩展可视范围的信息，比如无线电交通报告或车辆与车辆间通信消息。
将视觉捕捉的数据转发给特征提取单元54，特征提取单元54确定所述传感器测量结果的特性特征，例如照相机图像的边缘，和立体照相机系统的视差(深度)，或来自RADAR/LIDAR设备的距离和速度数据。此外，提取全局特征，以便提供给全局场景描述单元46。来自照相机图像的适当全局特征能够根据频率分量(傅立叶频谱、伽柏小波)或功率密度谱来确定。
将单元54传递的特征分类归并和/或与对象模型相比，以便根据单元56的独立特征形态来生成对象假设。将对象假设定义为真实世界对象的候选者，这些候选者必须通过额外的信息集成和一致性验证来进一步确认。
对象假设本身和相应的特征都通过单元62变换(当需要时)到适当的坐标系中，并且直接馈送到信息融合系统26中。融合系统26基于单元64中的特征绑定过程，在单元66中生成融合的对象假设。将其差异以及冗余特征形态进行融合，以便支持相应的对象假设，并丢弃感觉数据中的不一致的地方。在该融合架构中对象假设融合与特征绑定联合工作，并且通常能够用统计学融合方法或神经网络来执行。可用于特征绑定的算法对于本领域技术人员是众所周知的，因此在这里将不再讨论。通过对特征和对象假设两者的瞬时追踪(单元68)，实现对于测量噪声和不确定信息的鲁棒性。
所融合的对象假设由可视对象分类单元70进一步进行确认，可视对象分类单元70传递在对象类型方面——例如“小汽车”，“步行者”或“交通标志”方面的，对象的语义描述。
在单元72中，将对象的物理描述(位置、速度、加速度)和相应的对象类型在场景表示模块28中存储为单元72中的2
Figure 200610086708910000210003_0
维草图，单元72用于近距离可视场景探察。术语“2维草图”表示这样的事实，即不可能仅使用2维投射传感器元件，就能完全地探察场景的真实3维特性。
将由单元70传递的对象类别通过知识库58链接至某些属性，例如所检测对象的某些属性可能基于这些对象的完整性，描述不同的危险类别。其他属性可能是可能的运动参数，或者是适用于追踪单元68的运动模型。这些属性也可以在单元72中表示。
将来自扩展外部感测模块52的数据直接馈送到信息提取模块60中，信息提取模块60执行来自各种消息的地图数据分析和报告分析，以便提取不能用可视外部感测模块50捕获的，有关该车辆周围交通情况的相关信息。在单元74中通过映射单元62将所获取的信息映射为2维空间点对象表示。单元74中的表示是一种“鸟瞰图”长距离环境地图，并且可用于2
Figure 200610086708910000210003_2
维草图表示72中预激活的特定区域，以便引起注意和支持传感器融合模块26中的预测。
单元74中可用数据的例子是地图数据信息，如用于引导车道探测过程的曲线，或交通阻塞和事故的大略位置，以便预激活该融合系统，从而集中于静止的目标检测。
在模块36中对2维草图表示中累积的数据进一步进行评估，以便基于所获取的对象信息，给予代理接近当前情形的一种“理解”。用于“理解”该场景的某种解释是将所检测的交通标志分配给不同的车道，或者是将所检测的障碍物分配给不同车道。同样，该道路是什么和该车辆能够在哪里驾驶的解释也属于场景解释模块36的任务。
模块36向决定/动作选择模块38提供当前场景的某些状态，当前情境包括如车道数目、该车道中障碍物数目的离散语义信息，以及如场景的物理特性(距离、速度)的连续信息。基于该信息和从占用率监控获取的、且由驾驶员模型传递的驾驶员状态，决策系统38通过分析该场景的状态空间，选择最佳行为。
场景解释模块36还将信息转发至全局场景描述单元46，即交通标志和车道配置。全局场景描述单元46使用由特征提取单元54传递的全局特征，如以上已经进行描述的那样，确定该场景的全局各方面。
也要根据在不同全局场景中出现的不同统计，来调整可视对象分类单元70。将场景的全局方面(市内的、市外的、高速公路)进一步馈送至知识库48中，以便确定在当前情形下有效的一组恰当的交通规则。这些规则表示用于动作选择模块38的某些约束条件。此外，模块38引导注意/相关性过滤模块76根据任务或动作，来过滤相关的对象。相关性过滤模块76还接收来自模块36的解释信息，举例来说，模块36可以仅传递在车道中的，或者相对于该车辆靠近它的那些对象。
来自单元38的动作选择信息激活，或去激活，或组合不同的驾驶员辅助模块40，这些模块40可以基于由场景表示单元28传递的信息来控制该车辆。可能的功能是纵向控制(ACC，ACC停和开)，横向控制(车道保持，车道偏离警告)，碰撞避免/缓和，根据交通规则的警告，等等。
如以上已经描述的那样，将内部感测模块24连接至平滑/稳定预处理单元20。内部车辆数据可以用于变换/映射单元62中，以便例如使用用于射影变换，以及用于特征绑定过程和车辆模型30的倾角信息来校正映射，其中车辆模型30向决定/动作选择模块38和辅助模块40提供该车辆的内部状态和动态。

Claims (13)

1.一种驾驶员辅助系统，该系统包括：
第一接口(18)，用于感测来自车辆(12)环境(10)的外部信号，
第二接口(20)，用于感测车辆(12)的内部信号，
第一子系统(26，28)，用于融合第一接口(18)和第二接口(20)的输出信号，以便生成车辆环境(10)的表示，
第二子系统(30)，用于模拟车辆(12)的当前状态，并被提供第二接口(20)的输出信号，
第三子系统(32)，用于模拟驾驶员(14)的行为，
第四子系统(36)，用于解释由第一子系统(28)表示的当前场景，以便确定车辆(12)当前外部情形的特性状态，和
第五子系统(38，40)，基于第二、第三和第四子系统(30，32，36)的输出信号，生成对车辆(12)的执行机构(42)和/或驾驶员(14)的激励；
其中所述第一子系统(26，28)包括：信息融合模块(26)，用于融合第一和第二接口(18，20)的输出信号所表示的信息；知识库(58)，用于存储带有相关属性的对象；和场景表示模块(28)，用于表示场景；
其中所述信息融合模块(26)向知识库(58)提供表示所确定对象的对象信号，知识库(58)响应于该对象信号，向场景表示模块(28)提供表示所确定对象的属性的属性信号；并且
其中来自所述第四子系统(30，32，36)中的场景解释模块(36)的数据被馈送给所述第一子系统(26，28)中的所述场景表示模块(28)，以根据当前任务引导所述第四子系统(30，32，36)中的所述场景解释模块(36)的相关过滤过程，以便组织感觉和支持预测。
2.根据权利要求1所述的系统，
其中所述第五子系统(38，40)被设计为根据当前场景，另外使用额外的交通规则(48)。
3.根据权利要求2所述的系统，
其中所述第五子系统(38)适于向第四子系统(36)反馈信号，该信号表示与所生成的激励相关的信息，并且
所述第四子系统(36)适于响应第五子系统(38)的反馈信号，解释当前场景。
4.根据权利要求3所述的系统，
其中所述第四子系统被设计为根据当前场景，使用额外的交通规则(48)。
5.根据权利要求1所述的系统，
其中所述第五子系统(38)适于向第四子系统(36)反馈信号，该信号表示与所生成的激励相关的信息，并且
所述第四子系统(36)适于响应第五子系统(38)的反馈信号，解释当前场景。
6.根据权利要求5所述的系统，
其中所述第四子系统被设计为根据当前场景，使用额外的交通规则(48)。
7.根据前述权利要求中任一项所述的系统，
还包括场景描述子系统(46)，用于提供全局场景的描述，它适于通过第四子系统(36)的输出信号确定全局场景，该输出信号表示车辆(12)当前外部情形的特性状态，并且场景描述子系统(46)适于输出表示所确定全局场景的信号，
其中用于生成对车辆(12)的执行机构(42)和/或驾驶员(14)的激励的子系统(38，40)适于响应所述场景描述子系统(46)的输出信号，生成这些激励。
8.根据权利要求7所述的系统，
其中所述场景描述子系统(46)提供用于交通规则选择(48)的输出信号。
9.根据权利要求1至6中任一项所述的系统，
其中所述第四子系统(36)适于进一步生成对第三子系统(32)的激励，并且所述第三子系统(32)适于响应第四子系统(36)的输入信号，以及响应来自人机接口(34)的表示驾驶员(14)动作的输入信号，模拟驾驶员(14)的行为。
10.根据权利要求1至6中任一项所述的系统，
其中所述用于生成对执行机构(42)和/或驾驶员(12)的激励的子系统(38，40)进一步适于响应来自乘客监控(45)的输入信号，生成这些激励。
11.根据权利要求1至6中任一项所述的系统，
其中所述第一子系统(28)为行为生成模块(40)提供表示物理对象描述的输出信号。
12.一种配备有前述权利要求中任一项的系统的车辆。
13.一种用于辅助车辆(12)驾驶员(14)的方法，该方法包括以下步骤：
感测(22)车辆(12)的外部信号，
感测(24)车辆(12)的内部信号，
融合(26)所述外部信号和内部信号，以便生成(28)车辆环境(10)的表示，
基于车辆模型(30)和所述外部及内部信号，模拟(30)车辆(12)的当前状态，
模拟(32)驾驶员(14)的行为，
解释(36)当前场景，以便确定车辆(12)当前外部情形的特性状态，
组合(38)所述场景的特性状态与车辆(12)的当前状态及驾驶员(14)的行为，以便输出(40)对车辆(12)的执行机构(42)和/或驾驶员(14)的激励，和
使用来自场景解释的数据，以根据当前任务引导相关过滤过程，以便组织感觉和支持预测。
CN2006100867089A 2005-08-18 2006-06-16 驾驶员辅助系统 Expired - Fee Related CN1915725B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05017976A EP1754621B1 (en) 2005-08-18 2005-08-18 Driver assistance system
EP05017976.1 2005-08-18

Publications (2)

Publication Number Publication Date
CN1915725A CN1915725A (zh) 2007-02-21
CN1915725B true CN1915725B (zh) 2011-06-22

Family

ID=35545303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100867089A Expired - Fee Related CN1915725B (zh) 2005-08-18 2006-06-16 驾驶员辅助系统

Country Status (5)

Country Link
US (1) US7974748B2 (zh)
EP (1) EP1754621B1 (zh)
JP (1) JP4694440B2 (zh)
CN (1) CN1915725B (zh)
DE (1) DE602005017144D1 (zh)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2888165B1 (fr) * 2005-07-05 2007-08-31 Renault Sas Procede et systeme anti-roulis d'un vehicule et vehicule correspondant
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
EP1997705B1 (en) * 2005-12-28 2012-06-13 National University Corporation Nagoya University Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8072370B2 (en) * 2006-10-31 2011-12-06 Valeo Radar Systems, Inc. System and method for generating an alert signal in a detection system
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
JP4985428B2 (ja) * 2007-02-01 2012-07-25 株式会社デンソー ドライバ管理装置および運行管理システム
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
DE102007021580B4 (de) 2007-05-08 2023-07-06 Cariad Se Verfahren und Vorrichtung zum Ermitteln der fahrzeugrelevanten Verkehrszeichen
US7592945B2 (en) * 2007-06-27 2009-09-22 Gm Global Technology Operations, Inc. Method of estimating target elevation utilizing radar data fusion
JP4905556B2 (ja) * 2007-07-24 2012-03-28 日産自動車株式会社 車両用運転支援装置および車両用運転支援装置を備える車両
EP2174838B1 (en) * 2007-07-24 2020-09-23 Nissan Motor Co., Ltd. Drive assistance apparatus for vehicle and vehicle equipped with the apparatus
EP2065842B1 (en) * 2007-11-28 2012-11-14 Honda Research Institute Europe GmbH Adaptive driver assistance system with robust estimation of object properties
DE102008000817A1 (de) * 2008-03-26 2009-10-01 Robert Bosch Gmbh Skalierbares System und Verfahren zum Bereitstellen eines skalierbaren Systems zur Bereitstellung zumindest einer Fahrerassistenz-Funktion für ein Kraftfahrzeug
DE102008061649A1 (de) * 2008-06-11 2009-12-17 Volkswagen Ag Fahrerassistenzsystem und Verfahren zur Unterstützung eines Kraftfahrzeugführers
JP4602444B2 (ja) * 2008-09-03 2010-12-22 株式会社日立製作所 ドライバ運転技能支援装置及びドライバ運転技能支援方法
DE102008042565A1 (de) * 2008-10-02 2010-04-08 Robert Bosch Gmbh Verfahren zum Betreiben einer Fahrerassistenzeinrichtung
JP5200926B2 (ja) * 2008-12-26 2013-06-05 トヨタ自動車株式会社 運転支援装置
JP5195672B2 (ja) * 2009-05-29 2013-05-08 トヨタ自動車株式会社 車両制御装置、車両および車両制御方法
JP4877364B2 (ja) * 2009-07-10 2012-02-15 トヨタ自動車株式会社 物体検出装置
WO2011040841A1 (en) * 2009-09-29 2011-04-07 Volvo Technology Corporation Method and system for preparing sensor output data of a sensor assembly for further processing in at least one application and/or by at least one algorithm
US8825304B2 (en) * 2010-06-30 2014-09-02 Microsoft Corporation Mediation of tasks based on assessments of competing cognitive loads and needs
US8639426B2 (en) 2010-07-15 2014-01-28 George C Dedes GPS/IMU/video/radar absolute/relative positioning communication/computation sensor platform for automotive safety applications
US9177477B2 (en) 2010-07-19 2015-11-03 Honda Motor Co., Ltd. Collision warning system using driver intention estimator
US8287055B2 (en) * 2010-09-28 2012-10-16 Robert Bosch Gmbh Brake control of a vehicle based on driver behavior
SE535225C2 (sv) * 2010-10-07 2012-05-29 Scania Cv Ab Förfarande och system för varning för objekt i anslutning till ett motorfordon
CN102463989A (zh) * 2010-11-18 2012-05-23 江彦宏 视频雷达辅助驾驶系统
KR101066081B1 (ko) 2011-04-04 2011-09-20 (주)에코맥스 차량 탑재형 스마트 정보 판독 시스템 및 방법
DE102011076763A1 (de) 2011-05-31 2012-12-06 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zum Betreiben eines Fahrerassistenzsystems
JP5737396B2 (ja) 2011-06-09 2015-06-17 トヨタ自動車株式会社 他車両検出装置及び他車両検出方法
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
DE102011106808A1 (de) 2011-07-07 2013-01-10 Volkswagen Aktiengesellschaft Verfahren und Assistenzsystem zur Vermeidung einer Kollision für ein Fahrzeug
JP5626475B2 (ja) * 2011-08-10 2014-11-19 トヨタ自動車株式会社 運転支援装置
CN103703496B (zh) * 2011-08-10 2016-01-20 丰田自动车株式会社 驾驶辅助装置
US9139203B2 (en) * 2011-11-04 2015-09-22 GM Global Technology Operations LLC Lane tracking system
US9293054B2 (en) * 2011-11-11 2016-03-22 Aptima, Inc. Systems and methods to react to environmental input
SE538840C2 (sv) * 2011-11-28 2016-12-27 Scania Cv Ab Säkerhetssystem för ett fordon
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
US9381916B1 (en) * 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
US8676428B2 (en) * 2012-04-17 2014-03-18 Lytx, Inc. Server request for downloaded information from a vehicle-based monitor
US9240079B2 (en) 2012-04-17 2016-01-19 Lytx, Inc. Triggering a specialized data collection mode
US9020876B2 (en) 2012-06-07 2015-04-28 International Business Machines Corporation On-demand suggestion for vehicle driving
WO2013188523A1 (en) * 2012-06-12 2013-12-19 Gentex Corporation Vehicle imaging system providing multi-stage aiming stability indication
JP5981237B2 (ja) * 2012-06-15 2016-08-31 トヨタ自動車株式会社 運転支援装置
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
DE102012218363A1 (de) * 2012-10-09 2014-04-10 Continental Automotive Gmbh Verfahren zur Steuerung eines getrennten Ablaufs von verknüpften Programmblöcken und Steuergerät
US9672431B2 (en) * 2012-11-09 2017-06-06 Analog Devices Global Object detection
US9460354B2 (en) * 2012-11-09 2016-10-04 Analog Devices Global Object detection
DE102012111991A1 (de) * 2012-11-20 2014-05-22 Conti Temic Microelectronic Gmbh Verfahren für eine Fahrerassistenzanwendung
KR101470104B1 (ko) * 2012-12-27 2014-12-05 현대자동차주식회사 차량의 충돌방지 제어 장치 및 방법
US9232200B2 (en) * 2013-01-21 2016-01-05 Devin L. Norman External vehicle projection system
US9616747B1 (en) * 2013-01-29 2017-04-11 Intelligent Technologies International, Inc. Method for controlling travel of golf carts and all-terrain vehicles
US10347127B2 (en) * 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
US9050980B2 (en) 2013-02-25 2015-06-09 Honda Motor Co., Ltd. Real time risk assessment for advanced driver assist system
US9342986B2 (en) 2013-02-25 2016-05-17 Honda Motor Co., Ltd. Vehicle state prediction in real time risk assessments
US10166980B2 (en) * 2013-02-28 2019-01-01 Ford Global Technologies, Llc Vehicle mass computation
CN103303318A (zh) * 2013-06-07 2013-09-18 安徽工程大学 智能驾驶辅助系统
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
KR101475040B1 (ko) * 2013-12-23 2014-12-24 한국교통대학교산학협력단 교통정보 기반 소셜 네트워크 서비스 제공 방법 및 시스템
US9266536B2 (en) * 2014-01-17 2016-02-23 Fca Us Llc Adaptive cruise control system and method
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
ES2724353T3 (es) * 2014-04-04 2019-09-10 Signify Holding Bv Sistema y métodos para el soporte de vehículos autónomos por medio de la percepción ambiental y calibración y verificación de sensores
US10180785B2 (en) * 2014-05-07 2019-01-15 Livio, Inc. Global and contextual vehicle computing system controls
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US9766625B2 (en) 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
JP6327994B2 (ja) * 2014-07-28 2018-05-23 ルネサスエレクトロニクス株式会社 制御システムおよび半導体装置
US9189897B1 (en) 2014-07-28 2015-11-17 Here Global B.V. Personalized driving ranking and alerting
CN104260725B (zh) 2014-09-23 2016-09-14 北京理工大学 一种含有驾驶员模型的智能驾驶系统
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US10518783B2 (en) * 2015-03-31 2019-12-31 Hitachi Automotive Systems, Ltd. Automatic driving control device
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
US11125566B2 (en) * 2015-07-16 2021-09-21 Ford Global Technologies, Llc Method and apparatus for determining a vehicle ego-position
DE102015010270B4 (de) * 2015-08-08 2021-10-28 Audi Ag Verfahren zum Betrieb von Fahrerassistenzsystemen in einem Kraftfahrzeug und Kraftfahrzeug
CN105894610A (zh) * 2015-11-11 2016-08-24 乐卡汽车智能科技（北京）有限公司 数据处理方法、装置及系统
US20170240171A1 (en) * 2016-02-18 2017-08-24 Delphi Technologies, Inc. Method for modifying steering of an automated vehicle for improved passenger comfort
CN105711597B (zh) * 2016-02-25 2018-06-26 江苏大学 前方局部行驶环境感知系统及方法
US9792821B1 (en) 2016-03-25 2017-10-17 Toyota Jidosha Kabushiki Kaisha Understanding road scene situation and semantic representation of road scene situation for reliable sharing
US9805276B2 (en) 2016-03-31 2017-10-31 Toyota Jidosha Kabushiki Kaisha Generating real-time driver familiarity index for fine-grained dynamic road scenes
JP6737906B2 (ja) 2016-06-07 2020-08-12 トヨタ モーター ヨーロッパ 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法
WO2018009567A1 (en) 2016-07-05 2018-01-11 Nauto Global Limited System and method for automatic driver identification
US9915948B2 (en) * 2016-07-14 2018-03-13 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling motion of vehicle
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
EP3513265A4 (en) 2016-09-14 2020-04-22 Nauto Global Limited SYSTEMS AND METHODS FOR DETERMINING ALMOST COLLISIONS
CN110178104A (zh) 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
WO2018102425A1 (en) * 2016-12-02 2018-06-07 Starsky Robotics, Inc. Vehicle control system and method of use
DE102017201728B4 (de) 2017-02-03 2022-02-17 Audi Ag Steuervorrichtung zum Erzeugen von Steuerdaten für Aktuatoren zum Konfigurieren einer Innenraumsituation eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Betreiben einer Steuervorrichtung
WO2018146802A1 (en) * 2017-02-10 2018-08-16 Nec Corporation Control customization system, control customization method, and control customization program
DE102017103724B4 (de) * 2017-02-23 2019-11-28 Infineon Technologies Ag Vorrichtung und Verfahren zum Steuern eines Sensorbauelements eines Sicherheitssystems eines Objekts, Steuerungssystem für ein Automobilfahrzeug und Sensorbauelement für ein Sicherheitssystem eines Automobilfahrzeugs
KR102287315B1 (ko) * 2017-04-14 2021-08-09 현대자동차주식회사 피로도 기반 차량 제어 장치 및 방법
US10509692B2 (en) * 2017-05-31 2019-12-17 2236008 Ontario Inc. Loosely-coupled lock-step chaining
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
US10417816B2 (en) 2017-06-16 2019-09-17 Nauto, Inc. System and method for digital environment reconstruction
EP3638542B1 (en) 2017-06-16 2022-01-26 Nauto, Inc. System and method for contextualized vehicle operation determination
CN107571867B (zh) * 2017-09-05 2019-11-08 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
US11136012B2 (en) 2017-09-22 2021-10-05 Continental Automotive Systems, Inc. Method of determining a driver's override intention in a rear automatic braking system
US10997491B2 (en) 2017-10-04 2021-05-04 Huawei Technologies Co., Ltd. Method of prediction of a state of an object in the environment using an action model of a neural network
US10586118B2 (en) * 2018-01-13 2020-03-10 Toyota Jidosha Kabushiki Kaisha Localizing traffic situation using multi-vehicle collaboration
US10916135B2 (en) 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
US10963706B2 (en) 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
CN108334087B (zh) * 2018-01-25 2021-01-01 广州大学 一种基于软件定义的平台化高级驾驶辅助系统
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
US10916026B2 (en) 2018-05-16 2021-02-09 Toyota Research Institute, Inc. Systems and methods of determining stereo depth of an object using object class information
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
US20200133267A1 (en) * 2018-10-25 2020-04-30 GM Global Technology Operations LLC Middleware support for fault-tolerant execution in an adaptive platform for a vehicle
CN109572701B (zh) * 2018-12-07 2021-05-18 联想(北京)有限公司 一种车辆控制方法和车辆
DE102018133457B4 (de) * 2018-12-21 2020-07-09 Volkswagen Aktiengesellschaft Verfahren und System zum Bereitstellen von Umgebungsdaten
CN109887190A (zh) * 2019-01-10 2019-06-14 深圳市万华汽车服务投资控股有限公司 一种洗车交互方法、装置及系统
DE102019107443A1 (de) * 2019-03-22 2020-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betrieb eines Roboters mit verbesserter Objektdetektion
CN110263709B (zh) * 2019-06-19 2021-07-16 百度在线网络技术（北京）有限公司 驾驶决策挖掘方法和装置
CN111942396B (zh) * 2020-02-17 2021-12-24 采埃孚汽车系统(上海)有限公司 自动驾驶控制装置、方法及自动驾驶系统
JP7404925B2 (ja) * 2020-02-21 2023-12-26 株式会社デンソー 走行支援装置、走行支援方法、および走行支援プログラム
US11845464B2 (en) * 2020-11-12 2023-12-19 Honda Motor Co., Ltd. Driver behavior risk assessment and pedestrian awareness

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002114118A (ja) * 2000-10-04 2002-04-16 Nissan Motor Co Ltd 運転支援装置
JP2002260146A (ja) * 2001-03-02 2002-09-13 Toyota Central Res & Dev Lab Inc 運転者危険認知特性記憶方法、運転者危険度演算装置、運転能力診断・評価装置、及び車両用予防安全装置
US6577937B1 (en) * 1999-03-12 2003-06-10 Navigation Technologies Corp. Method and system for an in-vehicle computing architecture

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JP3082507B2 (ja) * 1993-04-07 2000-08-28 日産自動車株式会社 移動体の画像処理装置
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
JPH09198496A (ja) * 1996-01-17 1997-07-31 Matsushita Electric Ind Co Ltd 剛体／非剛体判別装置
JP3864465B2 (ja) * 1996-09-30 2006-12-27 マツダ株式会社 車両用の動体認識装置
US6269308B1 (en) * 1998-08-20 2001-07-31 Honda Giken Kogyo Kabushiki Kaisha Safety running system for vehicle
US6026340A (en) * 1998-09-30 2000-02-15 The Robert Bosch Corporation Automotive occupant sensor system and method of operation by sensor fusion
JP2003532959A (ja) * 2000-05-08 2003-11-05 オートモーティブ・テクノロジーズ・インターナショナル，インク． 車両の死角識別及びモニタリング・システム
US6982635B2 (en) * 2000-09-21 2006-01-03 American Calcar Inc. Technique for assisting a vehicle user to make a turn
US6580973B2 (en) * 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
DE10231558A1 (de) * 2001-07-11 2003-01-30 Bosch Gmbh Robert Verfahren und Vorrichtung zum automatischen Auslösen einer Verzögerung eines Fahrzeugs
EP1324274A3 (en) * 2001-12-28 2005-11-02 Matsushita Electric Industrial Co., Ltd. Vehicle information recording system
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
DE10254402B4 (de) * 2002-11-21 2011-02-17 Lucas Automotive Gmbh System zur Beeinflussung der Geschwindigkeit eines Kraftfahrzeuges
US7162361B2 (en) * 2002-11-21 2007-01-09 Lucas Automotive Gmbh System for influencing the speed of a motor vehicle
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
JP3882797B2 (ja) * 2003-08-08 2007-02-21 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP4148473B2 (ja) * 2003-10-29 2008-09-10 株式会社デンソー 車両用衝突物体判別装置
JP4301084B2 (ja) * 2003-11-12 2009-07-22 トヨタ自動車株式会社 運転支援方策決定方法および運転支援装置
JP2005178627A (ja) * 2003-12-19 2005-07-07 Toyota Motor Corp 車両の統合制御システム
JP2005219727A (ja) * 2004-01-08 2005-08-18 Denso Corp 車両用衝突保護装置
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
US7486802B2 (en) * 2004-06-07 2009-02-03 Ford Global Technologies Llc Adaptive template object classification system with a template generator
US7702425B2 (en) * 2004-06-07 2010-04-20 Ford Global Technologies Object classification system for a vehicle
JP4305289B2 (ja) * 2004-06-10 2009-07-29 株式会社デンソー 車両用制御装置およびその装置を備える車両用制御システム
JP4275593B2 (ja) * 2004-08-09 2009-06-10 富士通株式会社 接触定義装置、接触定義プログラム、接触定義方法
US7561951B2 (en) * 2005-05-06 2009-07-14 Ford Global Technologies Llc Occupant control system integrated with vehicle dynamics controls

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577937B1 (en) * 1999-03-12 2003-06-10 Navigation Technologies Corp. Method and system for an in-vehicle computing architecture
JP2002114118A (ja) * 2000-10-04 2002-04-16 Nissan Motor Co Ltd 運転支援装置
JP2002260146A (ja) * 2001-03-02 2002-09-13 Toyota Central Res & Dev Lab Inc 運転者危険認知特性記憶方法、運転者危険度演算装置、運転能力診断・評価装置、及び車両用予防安全装置

Also Published As

Publication number Publication date
DE602005017144D1 (de) 2009-11-26
US7974748B2 (en) 2011-07-05
EP1754621A1 (en) 2007-02-21
JP2007052778A (ja) 2007-03-01
US20070043491A1 (en) 2007-02-22
CN1915725A (zh) 2007-02-21
EP1754621B1 (en) 2009-10-14
JP4694440B2 (ja) 2011-06-08

Similar Documents

Publication Publication Date Title
CN1915725B (zh) 驾驶员辅助系统
US11055544B2 (en) Electronic device and control method thereof
JP7183273B2 (ja) 自律車両のソフトウェア検証
JP2021095117A (ja) 顔のランドマーク及び関連する信頼値を使用したニューラルネットワークベースの顔分析
KR20230130147A (ko) 자율 주행을 위한 항법 정보의 융합 프레임워크 및 배치 정렬
CN110352153A (zh) 自主车辆中用于障碍物躲避的安全程序分析
CN111587197A (zh) 利用驾驶模式识别来调节电动车辆的动力总成
CN106004876A (zh) 用于自动驾驶系统的基于间隙的速度控制
US20170043771A1 (en) Device for signalling objects to a navigation module of a vehicle equipped with this device
US11657318B2 (en) Assessing ride quality for autonomous vehicles
US10642266B2 (en) Safe warning system for automatic driving takeover and safe warning method thereof
CN112698645A (zh) 具有基于学习的定位校正系统的动态模型
US11453410B2 (en) Reducing processing requirements for vehicle control
WO2023116344A1 (zh) 无人驾驶测试方法、无人驾驶测试系统及计算机设备
US20210390225A1 (en) Realism in log-based simulations
JP7375576B2 (ja) 車両制御装置
Yu et al. Modeling overtaking behavior in virtual reality traffic simulation system
CN115218888A (zh) 用于更新高清地图的系统和方法
JP7369078B2 (ja) 車両制御装置、車両制御方法、及びプログラム
Mahjoub et al. A learning-based framework for two-dimensional vehicle maneuver prediction over v2v networks
US11926332B1 (en) Assessing surprise for autonomous vehicles
US20220297726A1 (en) Computerized detection of unsafe driving scenarios
JP7095391B2 (ja) 異常検出装置
Panero Drivers' comfort zone boundaries when overtaking pedestrians-Analysis of naturalistic driving and field test data
JP7001795B1 (ja) シミュレーション用のデータ生成装置、方法及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110622

Termination date: 20200616

CF01 Termination of patent right due to non-payment of annual fee