CN102292754A - 用于合并传感器数据的方法和系统 - Google Patents

用于合并传感器数据的方法和系统 Download PDF

Info

Publication number
CN102292754A
CN102292754A CN2008801318955A CN200880131895A CN102292754A CN 102292754 A CN102292754 A CN 102292754A CN 2008801318955 A CN2008801318955 A CN 2008801318955A CN 200880131895 A CN200880131895 A CN 200880131895A CN 102292754 A CN102292754 A CN 102292754A
Authority
CN
China
Prior art keywords
driver
sensor
data
described method
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801318955A
Other languages
English (en)
Other versions
CN102292754B (zh
Inventor
弗雷德里克·本特松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Truck Corp
Original Assignee
Volvo Lastvagnar AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Lastvagnar AB filed Critical Volvo Lastvagnar AB
Publication of CN102292754A publication Critical patent/CN102292754A/zh
Application granted granted Critical
Publication of CN102292754B publication Critical patent/CN102292754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0029—Mathematical model of the driver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

本发明涉及一种用来合并由耦合到至少一个应用(50)的至少两个(100，110)采集的传感器数据的方法，其中，至少一个传感器(100)提供驾驶员相关行为的驾驶员相关传感器数据，并且至少一个外部传感器(110)提供与驾驶员相关行为无关的传感器数据。当数据的各个测量误差相对于至少一个应用(50)在时间上不关联时，合并至少两个传感器(100，110)的传感器数据。

Description

用于合并传感器数据的方法和系统
技术领域
根据独立权利要求的前序部分，本发明涉及用于合并传感器数据的方法和系统。
背景技术
现代车辆能够装配有用于检测驾驶员的注视方向等等的传感器。这些信息例如用来评估驾驶员分心和困倦疲劳。还已知现有技术提供用于监测车辆的周围交通状况的传感器。由这些传感器收集的信息例如被提供给如碰撞告警系统的应用，用来防止或减少车辆和障碍物间的碰撞。
安全系统必须快速和适当地对威胁进行反应，因此必须意识到威胁。通过跟踪系统使用来自监测周围环境的传感器的数据来提供这样的信息。为此，期望尽可能早地启动可能障碍物的跟踪，并且将其报告给安全系统。还期望对所报告的跟踪指定高的跟踪得分。跟踪得分是评估对所报告的跟踪能信任的程度的量。通常，当达到某一跟踪得分时，可以将该跟踪报告为对安全应用是有效的(valid)。
在现有技术中，通过获取若干连续的测量来实现以上目的，因此其是耗时的。所需的时间与测量的质量与比例。一般规则是，测量得越多越好，则需要越短的生效(validation)时间。
生效后保留跟踪得分，并将其动态地更新以反应任何时间的该得分的质量。执行良好的跟踪系统具有高跟踪得分的属性。
通过构造详细的传感器模型，改进现有的传感器或增加多个传感器可以评估实现的高跟踪得分，以上也被称为传感器融合。
EP1878602 A1公开了一种用于车辆的安全系统，其中，基于驾驶员脱离路面的注视时间与当前脱离路面注视的持续时间的比例，发出驾驶员警告。系统合并作为传感器可生成测量的驾驶员焦点/驾驶员注意力。检测驾驶员的眼睛状态，并与来自监测周围环境的传感器的数据进行比较。该系统能推断出该驾驶员是把注意力集中在即将到来的危险上，或驾驶员没有注意。
发明内容
本发明的目的是提供一种方法和系统，其提高由传感器收集的数据的数据评估的可靠性和/或速度。
通过独立权利要求的特征实现该目的。其他权利要求和说明书公开了本发明的有利实施例。
本发明提出了一种方法，用于合并由耦合到至少一个应用的至少两个传感器采集的传感器数据，其中，至少一个传感器提供驾驶员相关行为的驾驶员相关传感器数据，以及至少一个外部传感器提供不与驾驶员相关行为有关的传感器数据。当数据的各个测量误差相对于至少一个应用在时间上不关联时，合并至少两个传感器的传感器数据。通常，来自两个传感器的数据是不关联的。相反，例如，如果两个传感器同时观看相同的对象，数据自然关联，因为其表示相同的物理对象。然而，通常地，对于例如使用不同测量原理的传感器而言，测量误差被建模为不相关，这通常是非常好的假定。
有利地，驾驶员被建模为另外的传感器(“驾驶员传感器”)，以提供驾驶员相关传感器数据，其通过使用监测驾驶员的另外的传感器来实现。具体地，驾驶员相关数据表示诸如注视方向、头部朝向和/或表示驾驶员相对于周围环境中的对象的注视方向和/或驾驶员注意力(意识)的任何其他朝向的参数。能使用驾驶员信息来识别混乱环境中的对象和/或能用来准备跟踪系统，以查看可能进入传统(外部)传感器的视野的对象。通过合并传感器可生成测量的驾驶员焦点/驾驶员注意力，例如，通过安全系统能执行更好并且更快速地动作。安全系统还能提供驾驶员是否知道特定目标的信息。根据现有技术，在之后更晚的阶段才能够合并传感器数据，具体地，才能够将传感器融合的输出与驾驶员相关传感器的输出合并。
根据有利的方法步骤，优选地，在传感器数据的噪声时间上不关联的情况下，合并至少两个传感器的传感器数据。传感器数据的较早融合允许将驾驶员相关数据视为任何一个其他传感器数据的原始数据。
根据另一有利的方法步骤，能将至少两个传感器的传感器数据馈送到传感器融合单元，用于合并和/或交换传感器数据。在将数据馈送到具体应用前，驾驶员相关传感器数据的信息能与其他传感器数据共享。传感器数据的分析能变得更精确和快速。
根据另一有利的方法步骤，能在传送到传感器融合单元后，将传感器数据传送到一个或多个应用，其中，在传感器融合单元中处理后，传感器数据的噪声在时间上关联。优选地，应用可以是用在车辆中的辅助功能，诸如跟踪系统，安全系统，例如碰撞告警等等。
根据另一有利的方法步骤，能在馈送到传感器融合单元前，预处理传感器数据，实现传感器数据的更精确和更灵敏分析。
根据另一有利的方法步骤，驾驶员相关传感器数据至少包括驾驶员注意力和/或驾驶员注视方向数据。如果融合传感器数据提供给跟踪系统或安全系统，诸如碰撞告警系统，这是特别有利的。
根据另一有利的方法步骤，驾驶员相关传感器数据和由应用导出的数据被用来估计驾驶员的视野。有利地，能将单独的驾驶员的视野输入到威胁估计算法中(在本发明公开内容中提到了威胁估计问题)，接着，其能估计驾驶员是否能意识到由一个或多个外部传感器检测的可能危险。此外，对象的跟踪的生效能被改进，并且能比现有技术更快地发生。
根据另一有利的方法步骤，根据表示对象的认知检测的驾驶员相关传感器数据与通过至少一个外部传感器进行的对象的检测间的比较，导出驾驶员的反应时间和/或驾驶员的分心等级。比较还能与大部分的其他事件，例如与驾驶员视野相关。有利地，如果反应时间长，则例如当有碰撞风险时，能更早地发出警告，并且当反应时间短时，会较晚地发出警告。这降低了可能刺激和分散驾驶员注意力的错误告警的风险。此外，如果由多个驾驶员使用车辆，能存储单独的驾驶员的简档，并且耦合到辅助功能的应用能用于单独的驾驶员。具体地，简档可以包括驾驶员的视野。
根据另一有利的方法步骤，能够根据由至少一个外部传感器的对象检测与表示驾驶员对相同对象的认知检测的驾驶员相关传感器数据之间的时间差来提取反应时间。具体地，在预定时间跨度上监测反应时间，从而对驾驶员注意力进行估计。例如，能将驾驶员的反应时间的增加解释为驾驶员注意力降低，以及能发出适当的告警和/或应用反应。反应时间还能由驾驶员的视野而定，这也是能考虑到的。
根据另一有利的方法步骤，至少一个应用可以是车辆安全系统。
根据另一有利的方法步骤，能提取和存储一个或多个驾驶员的反应时间，以用在车辆安全系统中。安全功能可用于单个驾驶员。
根据另一有利的方法步骤，反应时间能具体地适用于安全系统的灵敏级。与本发明相比，在现有技术中，难以设计主动安全系统的灵敏度。如果安全系统过于灵敏，则将要忍受高的错误告警率。如果安全系统不灵敏，当做出判断时，可能太晚而不能有所动作。如果能估计反应时间并且与常见的驾驶员简档进行比较，具体地，在适当的驾驶情形下估计的固定简档或自适应简档，例如，在没有与驾驶员反应时间相关的信息可用的情况下，能设计安全系统来更早或更晚地告警，由此增加安全系统的性能。特别地，由于传感器系统的延迟以及有限的传感器覆盖范围，通过使用跟踪来估计反应时间可能不充分。典型地，当报告跟踪时，这些数据都是之前的，而它们使用期限通常未知。
根据另一有利的方法步骤，反应时间被用来评估驾驶员注意力等级。如果反应时间在预定时间内改变，特别是增加，则可以发出警告。不一定验证驾驶员如何操纵车辆，而是验证驾驶员能够比用在或耦合到车辆的外部传感器，诸如雷达、激光雷达、摄像机等等更好还是更糟地评估环境。
根据另一有利的方法步骤，至少一个应用可以是跟踪系统。通过将驾驶员建模为传感器可以较早地得出驾驶员是否意识到接近的对象和可能的危险。同时，能提取与对象属性有关的信息，诸如位置、大小、感知的兴趣。
根据另一有利的方法步骤，驾驶员相关传感器数据能与一个或多个对象的跟踪数据合并，使得分析更精确和更快。特别地，能以更高可靠性和比纯外部传感器更早的可能性来生效跟踪。
根据另一有利的方法步骤，在跟踪系统中能构造如下的传感器模型，其至少包括下述的一个或多个：
(1)驾驶员注意到一个或多个对象的概率；
(2)提供驾驶员头部和/或注视方向的驾驶员监测摄像机的精度；
(3)头部/注视方向和由驾驶员观看的一个或多个对象的位置间的关系；
(4)驾驶员没有查看到对象的概率；
(5)对作为驾驶员注意力的函数的跟踪置信度的影响。
根据另一有利的方法步骤，如果外部传感器数据和驾驶员相关传感器数据符合，将跟踪识别为有效。
根据本发明的另一方面，提供一种安全系统，其采用对由耦合到至少一个应用的至少两个传感器采集的传感器数据进行合并的方法，其中，至少一个传感器提供驾驶员相关行为的驾驶员相关传感器数据，并且至少一个外部传感器提供不与驾驶员相关行为有关的传感器数据，其中，当数据的各个测量误差相对于至少一个应用在时间上不关联时，合并至少两个传感器的传感器数据。有利地，本发明可以是跟踪系统中的部件。安全系统可以是例如碰撞告警系统、巡航控制系统等等，例如，其可以是碰撞避免系统、十字路口安全系统、车道改变辅助系统，并且优选地可以是需要知道其他物体在哪儿的任何系统。
根据本发明的另一方面，提供一种跟踪系统，其采用对由耦合到至少一个应用的至少两个传感器采集的传感器数据进行合并的方法，其中，至少一个传感器提供驾驶员相关行为的驾驶员相关传感器数据，以及至少一个外部传感器提供不与驾驶员相关行为有关的传感器数据，其中，当相对于至少一个应用，数据的各个测量误差在时间上不关联时，合并至少两个传感器的传感器数据，其中，系统包括跟踪系统和安全系统的至少一个。
此外，提供一种计算机程序，其包括计算机程序代码，适用于执行如下方法或在如下方法中使用，所述方法用于对由耦合到至少一个应用的至少两个传感器采集的传感器数据进行合并，其中，至少一个传感器提供驾驶员相关行为的驾驶员相关传感器数据，并且至少一个外部传感器提供不与驾驶员相关行为有关的传感器数据，其中，当在可编程微型计算机上运行所述程序时，数据的各个测量误差相对于至少一个应用在时间上不关联时，合并至少两个传感器的传感器数据。优选地，当在连接到互联网的计算机上运行时，计算机程序能用来下载到控制单元或其组件的一个上。
此外，提出了一种存储在计算机可读介质上的计算机程序产品，其包括用在计算机上的如下方法中的程序代码，其中，所述方法用于对由耦合到至少一个应用的至少两个传感器采集的传感器数据进行合并，其中，至少一个传感器提供驾驶员相关行为的驾驶员相关传感器数据，以及至少一个外部传感器提供不与驾驶员相关行为有关的传感器数据，其中，当数据的各个测量误差相对于至少一个应用在时间上不关联时，对至少两个传感器的传感器数据进行合并。
附图说明
从下述实施例的详细描述，将更好地理解本发明以及上述和其他目的和优点，但是本发明不受限制于这些实施例，其中，在附图中示意性地示出：
图1根据本发明的优选实施例的雷达数据级，例如原始数据、检测实例和跟踪；
图2优选跟踪系统，其还包括根据本发明的传感器融合系统；
图3当两个车在卡车前移动时，为每一车辆产生一个跟踪的本发明的应用；
图4a-c具有在跟踪系统中看不到的对象的最初检测(图4a)、报告有效对象(图4b)、以及由驾驶员进行的对象的视觉确认(图4c)的对象的一系列检测；
图5优选跟踪系统的系统描述；
图6提供“驾驶员确认”的功能的跟踪系统；
图7由外部传感器场首先检测到障碍物，并且在该最初阶段生效不受驾驶员传感器影响的例子；以及
图8由驾驶员传感器首先检测到障碍物，并且在该最初阶段生效不受外部传感器影响的例子。
具体实施方式
在图中，相同或类似的元件由相同的参考数字表示。附图仅是示意性表示，不打算描述本发明的具体参数。此外，附图打算仅描述本发明的典型实施例，因此，不应当视为限制本发明的范围。
具体地，当合并跟踪滤波器使用本发明时，本发明可以看作跟踪滤波器的扩展。有利地，根据本发明，能包括诸如驾驶员传感器的新传感器，并且将其正确地处理，优选地作为跟踪框架中的部件。因此，本发明能提供减少生效时间、驾驶员统计时间等等的优点。
根据本发明的优选实施例，图1示意性地描述由例如原始数据、检测实例和跟踪的雷达数据级，如何生成数据并经跟踪系统52提供给应用50的优选方法。雷达传感器10检测周围环境12。对雷达传感器10测量，其由检测值B组成。雷达传感器10将原始数据A作为输入发送到单元14。单元14提供信号检测算法，例如，其能基于频谱分析，使用傅里叶变换来检测对象。单元14的输出包括检测值B，其被馈送到应用52中，例如碰撞减轻系统等等中。
检测值B是源自雷达视场中的对象的通过检测算法确定的信号峰值，例如其可以是阈值，即，高于预定或自适应设置的信号电平。这些检测值的属性例如可以是雷达视场中的被检对象的范围、方位角和速度。跟踪系统52以位置的估计
Figure BPA00001365919800081
和/或位置的预期值E[xk]和/或其状态矢量xk的概率密度函数p(xk)来输出跟踪C。应注意到该位置能是多维的，以便包括速度等等。数据C被提供给应用50。
具体地，检测值B是雷达传感器10可见的对象的测试空间中的位置，但假定其没有时间关联。即，当检测到新的一个检测值时，检测算法不利用更早的检测。与此对比，当检测到新的检测值B时，跟踪系统52利用更早的检测。
跟踪系统52输出的检测是通过时间和模型一致性验证的检测。
状态矢量xk描述的是，对于具有恒定采样时间Ts的系统，在时间tk＝kTs，载有传感器i(例如车载的雷达传感器10)的车辆四周的环境12。因为测量通常受随机噪声影响，所以xk是随机参数，并且通过其概率密度函数p(xk)来描述。
Figure BPA00001365919800091
描述在时间tk，由传感器i提供的测量。当它们受随机噪声影响时，通过概率密度函数p(yk)来描述该测量。
给定所有测量
Figure BPA00001365919800092
(对N个传感器的系统)，跟踪系统52的目的是提供xk的最佳描述，其是条件概率密度函数
Figure BPA00001365919800093
当已知该分布时，能计算对象的位置的估计
Figure BPA00001365919800094
非常常见的估算器是使用预期值常见的跟踪滤波器是所谓的卡尔曼滤波器，例如，诸如处理非线性的扩展的卡尔曼滤波器或无跟踪卡尔曼滤波器的改进卡尔曼滤波器，或蒙特卡洛方法，诸如粒子滤波器，其是基于蒙特卡洛方法的广泛使用的滤波器。跟踪系统52使用处理模型和传感器模型来计算该结果。最终跟踪是所有接收数据的合并，并且尽管小于测量误差，但是估计误差也因此在时间上关联。
卡尔曼滤波器是有效的递归滤波器，其根据一系列不完全和噪声测量来估计动态系统的状态。
如何使用卡尔曼滤波器的示例性应用可以是在只提供与其位置
Figure BPA00001365919800096
有关的一系列观察，其中的每个包括一定的误差的情况下，提供与对象的位置
Figure BPA00001365919800097
和速率有关的精确连续更新信息。其被用在从雷达到计算机视觉的广泛工程应用中。卡尔曼滤波在控制理论和控制系统工程中是重要的主题。
例如，在雷达应用中，其中有人对跟踪目标(在本上下文中，也称为对象)感兴趣，而在任何时刻测量与目标的位置、速度和加速度有关的信息，其都具有由噪声引起的大量恶化。卡尔曼滤波器采用目标的支配其时间演化的动力学，以消除噪声影响并且获得当前时间(滤波)、未来时间(预测)或过去的时间(内插或平滑)处目标的位置的良好估计。卡尔曼滤波器的简化版本是仍然在常用的α-β滤波器，其具有静态加权常数，而不是使用共方差矩阵。
图2示例说明优选的跟踪系统52，其也是传感器融合系统20。
当有多个传感器110时，即，N＞1时，那么跟踪系统52也是融合系统20，因为它使用多个数据源，即，传感器1至传感器N来计算估计量xk。传感器信号被馈送到融合系统20，当将其具体化为跟踪系统52时，其可以包括单元22，单元22提供选通(gating)和数据关联，并且单元22连接到单元24，单元24启动新跟踪，更新跟踪得分并且删除跟踪(即，执行跟踪管理)，并且单元24连接到单元26，单元26将更新的跟踪提供给接收应用，并且单元26连接到单元28，单元28提供诸如位置的预测
Figure BPA00001365919800101
并且单元28连接到单元22，作为在开始下一次迭代时，由系统使用的预测起点，以便将数据与位置关联并且用在跟踪系统52的下一次的迭代中。具体地，使用运动模型，预测状态空间位置。需要用此来将来自前一迭代的更新跟踪与后一迭代的测量关联。如图3所示，仅当两个被跟踪的车辆彼此位于很近时，跟踪-测量关联被假定是硬的(hard)。
单元26将数据输出到不同应用50，诸如主动巡航控制(ACC)、制动碰撞减轻(CMBB)等等。
然而，融合系统20能远比仅仅有跟踪系统52或应用50时强大。实际上，融合系统20不需要包含跟踪系统52。可以包含与比跟踪系统52“更高”算法级的信息融合，或可以利用状况评估算法来“理解”例如交通状况等等。在一些情况下，在最宽泛的概念意义上，利用多个信息源的任何系统能说成执行传感器融合。
状态矢量很可能包含诸如车辆的周围对象的位置、速度、加速度和/或朝向。认为源自单个对象的一系列位置被称为“跟踪”。
对于算法效率而言，跟踪系统中的“跟踪”有时仅仅是在时间tk，对象的估计位置“位置”不一定是指笛卡儿空间中的二维(2D)位置，其由对象的参数化而定，通常是更高维的。例如，6维“恒定加速度”表示法广泛地用在汽车跟踪系统中，其具有坐标(x，y，&x，&y，&&x，&&y)，其中，x，y是横跨二维空间的正交矢量，以及&表示时间导数(&是第一导数，以及&&是第二导数等等)。
现在参考图3，为示例说明在优选示例性实施例中的本发明的使用，两辆汽车60a，60b在卡车90前移动。能关联指定给车辆60a，60b的星号64a、64b(对每一辆车60a，60b，仅一个用参考数字表示)以便形成由连接星号62a，62b的实线表示的两个跟踪62a，62b，其中，跟踪62a与车辆60a关联，以及跟踪62b与车辆60b关联。
典型地，跟踪系统(例如安装在卡车90上)不报告基于单一检测的跟踪62a，62b，而是在“确保足够”前，等待待关联的若干测量。该结果称为“生效的跟踪”。
期望最小化生效跟踪62a，62b所花的时间，因为直到确认才可以由应用50(例如碰撞减轻)安全使用。所接收的测量越多，越能更早地生效或废弃跟踪62a，62b。优选地，跟踪系统52将包含本发明，以减少的跟踪生效时间。
“驾驶员传感器”，即提供与驾驶员有关的传感器数据的传感器100能提供驾驶员头部位置(和/或另一驾驶员专门位置)，以及注视方向的估计。例如，驾驶员传感器100能安装在卡车90中。通过该驾驶员传感器100，可以监视驾驶员行为，其意味着实际上将驾驶员看作传感器100，由驾驶员传感器100监测该驾驶员。其他的传感器110被称为外部传感器110，其通常检测在卡车90周围的诸如车辆60a，60b的对象的位置和速度。当外部传感器110和驾驶员传感器100融合在传感器融合系统(图2中的20)中时，便于跟踪生效并提高性能和精度。
再参考图1，由驾驶员传感器(图3中的100)以及例如监测周围环境12的雷达传感器10等等的至少一个外部传感器(图3中的110)来采集传感器数据。驾驶员传感器(图3中的100)和至少一个外部传感器110耦合到跟踪系统52，并且当数据的各个测量误差相对于至少一个应用50在时间上无关时，将其有利地合并(融合)。当至少相对于噪声，测量误差在时间上仍然无关联时，将传感器数据合并成检测值B，然后在传感器融合系统20(图2)中处理。在传感器融合系统20中处理后，所处理的传感器数据的估计误差在时间上关联。在通过融合系统后，术语“跟踪”能适当地用于传感器数据，因为大部分融合系统由跟踪系统组成。传感器数据(跟踪)随后能提供给应用50。
其好处在于，还能比较两种不同的传感器类型，即，驾驶员传感器100和外部传感器110相对于彼此反应有多快。如果驾驶员传感器100表示快速响应，或者其甚至快于外部传感器110，则能假定驾驶员未分散注意力或瞌睡。这种关系的变化能有利地与瞌睡关联，因为随时间流逝驾驶员可能会疲劳，而外部传感器110却被预期为执行相同的操作。
图4a-4c示例说明对象的一系列检测。通过举例，作为在车道上移动的车辆60的对象进入其中卡车90正在其中移动的道路上。
在图4a中，卡车安装的传感器110通过在时间t＝t0的最初检测，检测正接近的车辆60，在图中，其由附加到车辆60上的星号64表示。星号64表示例如雷达测量。此时，在卡车90上安装的跟踪系统中，看不见对象(车辆60)。正逼近的车辆60可能仍然在驾驶员的视野外。
在图4b中，在时间t＝t1处，由传感器110执行更多检测，并且生效对象(车辆60)的跟踪，其由附着到车辆60上的三个星号64(示例说明雷达测量)表示，从而符号化跟踪。跟踪系统报告生效的对象(即，图1中的数据C，在生效前，数据B可能存在，但数据C为空。当数据B已经证明存在对象(生效)时，将其报告为数据C)，然后，其可以用在车辆功能中，诸如可以用在碰撞告警、主动巡航控制、制动碰撞减轻等等中。
在图4c中，示出的是，在t＝tD处，通过卡车90的驾驶员，即，驾驶员传感器100来对对象60进行视觉确认。车辆60可能刚进入驾驶员的视野，并且驾驶员可能看到了车辆60出现的地点。这可以通过监测驾驶员的扫视方向和/或头部位置等等的变化，而通过驾驶员相关传感器100来识别。
有利地，t＝t0的最初检测和t＝tD间的时间差能可以被推导为对驾驶员的反应时间的测量。特别地，当tD＜t1时，驾驶员帮助生效目标。
图5以流程图示例说明图4的顺序。在t＝t0，在步骤200，最初传感器检测发生。在步骤202，将该最初检测输入到跟踪系统，执行跟踪管理和输出生效的跟踪。在步骤204，在t＝tD处，驾驶员的视觉确认该对象。在步骤206，基于时间差tD-t0，执行反应时间评估。
如果连接步骤204和202(由虚线表示)，图4c示例说明反应时间和减少的跟踪生效时间的计算，因为在步骤202，能计算跟踪得分部分。
驾驶员对所检测的对象(车辆60)的出现的反应所花的时间能用来估计未来反应时间，即，从当驾驶状况改变时到驾驶员采用适当动作为止所花的时间。
仅仅是对象(例如车辆60)的出现将导致卡车中的驾驶员的一些反应。如果驾驶员不知道相邻车道中的车辆60，当驾驶员在“其眼角”看到它时，驾驶员很可能朝它看。通过测量从传感器在t＝t0时初次对其通知到驾驶员“视觉确认”对象(例如车辆60)所花费的时间，能估算该时间tD。为估计该时间，能将非跟踪(未生效)的传感器检测用作当对象(例如车辆60)最初出现在驾驶员视野时的时间戳。通过使用稍后将报告作为位置的基础的跟踪位置，最初跟踪检测t0的时间能从在tD处驾驶员看见时减去，其中，对典型的雷达传感器，“稍后”是指少于1秒的时间，举例来说，100ms至400ms间。这导致对驾驶员的认知反应时间的估计。
这可以通过在传感器跟踪算法的级别对先前的信息的融合来完成，即，通过考虑驾驶员传感器和一个或多个的外部传感器来完成。这比已知算法更优越，因为由于传感器系统的延迟和有限传感器覆盖，使用传感器系统以高水平提供的跟踪也不足以估计这些反应时间。主要原因是与最初检测的出现有关的真实跟踪年龄未知。本领域中已知基于由已经检测的对象的机动来估计反应时间，但这提供了更敏感的评估，并且可能受驾驶员行为的不同影响。
时间t1-t0通常是未知的，因为t1仅是可用的时间戳。因此，不可能导出所需的反映时间tD-t0。因为tD小于t1是可能的，所以甚至不可能以更高级别来进行计算。然而，根据本发明，通过改变跟踪，最初检测的时间戳可以被包括。
有利地，很可能与驾驶员反应时间和分心等级有关的测量可被导出。这不是通过查看驾驶员如何处理自己的车辆来完成，而且通过查看驾驶员能够比由雷达/激光雷达/摄像机等等组成的传感器系统更好或更坏地评估环境来完成。
图6通过描述提供“驾驶员确认”的功能的跟踪系统，显示本发明的另一优选实施例。
驾驶员是信息提供者，以及能有利地被建模为除检测环境的一个或多个外部传感器以外的传感器。如果驾驶员快速查看，或经常看向某一点，则存在该处存在物体，例如，正逼近的车辆(对象)等等的高的可能性。
这能用在早期跟踪，即传感器融合中，以便识别例如混乱环境中的对象，或者用于准备跟踪系统，以查看可能进入传统的传感器的视野中的对象。可以期望驾驶员具有比单个传感器系统更宽的视野。
图6提供具有“驾驶员确认”的额外功能的跟踪系统的示意性示例。在步骤304处，将多个传感器的数据，即，步骤302中传感器1(驾驶员传感器)、传感器2(检测)、传感器3(检测)的数据馈送到跟踪系统。驾驶员传感器可以馈送对象的视觉确认的信号。不管活动性是视觉确认还是优选由跟踪系统判定，将视觉活动性与其他传感器数据进行比较。在步骤306，校验跟踪得分是否高。如果是，则该对象(例如图4a-4c中的车辆60)被识别为有效确认的目标，将报告给安全应用，例如碰撞告警系统。
时间t0表示传感器最初检测到可能对象出现的时间，以及t1表示已经将对象识别为将报告给安全应用的有效确认目标的时间。期望时间t1-t0应当尽可能小。
通过合并传感器可生成测量的驾驶员焦点/注意力，能快速地开始新跟踪，由此增加跟踪得分，以获利更高置信度值。其可以通过制作跟踪理论意义上的传感器模型，(至少)对驾驶员注意到对象的概率(驾驶员视野的函数)进行建模而实现，
(1)提供头部/注视方向的驾驶员监测摄像机的精度；
(2)头部/注视方向与所查看的对象的位置间的关系；
(3)驾驶员看到“无对象”的概率
(4)作为驾驶员意识的函数，对跟踪置信度的影响。
这些量均能理论和/或实验地导出，并且与任何(外部)传感器用在传感器数据融合系统中的方式类似得处理“驾驶员传感器”。
这当然也能用于威胁评估。例如，有理由将驾驶员在一般时间内均未进行视觉确认的跟踪视为比驾驶员最近刚看过的跟踪具有更大的威胁。
通过引入目标的视觉确认，优选的安全系统能更好地执行和更快速地作用。也可以将信息提供给系统，不管驾驶员是否意识到有特定目标。
还应当注意到，如果图4c中的“减少生效时间”选项有效(框204被连接到框202)，则框202与框304相同。
图7示例说明一个例子，在其中由安装在卡车90上的外部传感器110最初检测到例如车辆60的对象，并且在该最初阶段，检测的生效不受驾驶员传感器100影响。在后一阶段，当可能已经生效对象和/或其跟踪62时，驾驶员传感器100可以影响该生效。将传感器视野130指定到外部传感器110，其中，对象(车辆60)进入外部传感器视野130。视野120被指定给卡车90的驾驶员。只要当跟踪62进入视野120时，低级融合或跟踪已知，则能估计在进入驾驶员的视野120后，驾驶员视觉确认车辆60，即，指定给车辆60的跟踪62花费多长时间。
有利地，该配置能用来估计驾驶员在其中能看到对象的区域，换句话说，估计驾驶员的视觉视野120。这通过记住当由驾驶员传感器100视觉确认时，对象通常在哪儿来完成。在一段时间后，该区域将被已知并且指定为驾驶员的视野120。它可被威胁评价算法来使用，该算法现在就可以评价该驾驶员是否可检测潜在危险。
图8示例说明一个例子，在其中，由驾驶员传感器100最初检测到例如车辆60的对象，并且在该最初阶段，生效不受外部传感器110影响。驾驶员传感器100单独能生效对象(车辆60)的跟踪62是不可能的，其最可能是非常杂乱的信号，但是当外部传感器测量可用时，存在能快速地启动跟踪62的出现的合理的可能性。如果驾驶员传感器100存在，则其将有利地比如果驾驶员传感器110不存在时更快速。
可以看到，如果车辆60同时进入两个视野120和130，那么效果将是两个传感器(外部传感器110和驾驶员传感器100)同时报告该对象存在，从而以更有利的方式加速生效时间。
如果将驾驶员看作驾驶员传感器100，有必要描述在任何情形下驾驶员传感器100很可能测量的内容，其将形成概率密度p(yk|xk)，其中，y是传感器的输出。在这种意义上，具有将相对于数据的两个假定而进行比较的能力的任何函数将起作用，即使实际上没有使用名称“概率密度”。
简单的模型能由概率Pd(检测概率)来构造，其中驾驶员以概率Pd查看对象附近的点。这能使用y＝|ξxξy|，以及概率Pd来描写，测量将会是[ξxξy]T＝[x y]T+[vx vy]T，其中，ξx，ξy是传感器报告的驾驶员所看的位置，(x，y)是对象的位置，并且vx，vy是说明驾驶员为什么未确切地查看正确地点的随机噪声，即实际测量具有两个分量，实际位置(信号)和误差(噪声)。例如vx，vy能被建模为高斯随机噪声。
该模型的扩展能包括：如果例如另一车辆的对象远离或通过后视镜看见，则建模不同的噪声和概率Pd。对象的类别，例如汽车、卡车、行人、路标、十字路口能用来影响噪声和概率Pd。特别地，如果外部传感器110是具有地图数据库的GPS系统(全球定位传感器)，可采用这样的扩展。
噪声能具有其他分布，Pd能是xk的函数。此外，驾驶员传感器测量空间能多于二维，测量噪声可以不是自适应的，因为它可能进入更复杂的模型，以及驾驶员的威胁评估可能影响驾驶员选择查看何种对象。
本发明能具体化为硬件或软件，或者包括软件和硬件。此外，能本发明能具体化为计算机程序产品，其能从由计算机使用或读取的介质访问。优选地，介质能提供能用在计算机中的程序代码。特别地，介质能是存储器，诸如静态存储器、RAM或ROM等等、磁带、计算机磁盘、磁盘或光盘、CD、DVD、USB棒等等。

Claims (21)

1.一种用于合并由耦合到至少一个应用(50)的至少两个(100，110)采集的传感器数据的方法，其特征在于：其中，至少一个传感器(100)提供驾驶员相关行为的驾驶员相关传感器数据，并且至少一个外部传感器(110)提供不与驾驶员相关行为有关的传感器数据，其中，当数据的各个测量误差相对于所述至少一个应用(50)在时间上不关联时，合并所述至少两个传感器(100，110)的传感器数据。
2.如权利要求1所述的方法，其特征在于，在所述传感器数据的噪声在时间上不关联的情况下，合并所述至少两个传感器(100，110)的传感器数据。
3.如权利要求1或2所述的方法，其特征在于，将所述至少两个传感器(100，110)的传感器数据馈送到传感器融合单元(20)，用于合并和/或交换传感器数据。
4.如在前权利要求的任何一个所述的方法，其特征在于，在到所述传感器融合单元(20)后，将所述传感器数据传送到一个或多个应用(50)，其中，在传感器融合单元(20)中处理后，所述估计误差在时间上关联。
5.如在前权利要求的任何一个所述的方法，其特征在于，在馈送到所述传感器融合单元(20)中之前，预处理所述传感器数据。
6.如在前权利要求的任何一个所述的方法，其特征在于，驾驶员相关传感器数据至少包括驾驶员注意力和/或驾驶员注视方向数据。
7.如在前权利要求的任何一个所述的方法，其特征在于，所述驾驶员相关传感器数据和由应用(50)导出的数据用来估计驾驶员的视野(120)。
8.如在前权利要求的任何一个所述的方法，其特征在于，根据表示对象(60)的认知检测的驾驶员相关传感器数据与通过至少一个外部传感器(110)进行的对象(60)的检测之间的比较，导出驾驶员的反应时间和/或驾驶员的分心等级。
9.如在前权利要求的任何一个所述的方法，其特征在于，根据由所述至少一个外部传感器(110)的对象检测与表示驾驶员对相同对象(60)的认知检测的驾驶员相关传感器数据之间的时间差，提取反应时间。
10.如在前权利要求的任何一个所述的方法，其特征在于，至少一个应用(50)是车辆安全系统。
11.如权利要求9或10所述的方法，其特征在于，提取并存储一个或多个驾驶员的反应时间，用在所述车辆安全系统中。
12.如权利要求9至11的任何一个所述的方法，其特征在于，所述反应时间适用于安全系统的灵敏级。
13.如权利要求9至12的任何一个所述的方法，其特征在于，所述反应时间用来评估驾驶员注意力等级。
14.如在前权利要求的任何一个所述的方法，其特征在于，所述驾驶员相关传感器数据与一个或多个对象(60)的跟踪数据合并。
15.如权利要求14所述的方法，其特征在于，在跟踪系统(52)中，构造传感器模型，所述传感器模型至少包括下述的一个或多个：
驾驶员注意到一个或多个对象(60)的概率；
提供驾驶员头部和/或注视方向的驾驶员监测摄像机的精度；
头部/注视方向和由驾驶员观看的一个或多个对象(60)的位置之间的关系；
驾驶员没有查看到对象的概率；
对作为驾驶员注意力的函数的跟踪置信度的影响。
16.如权利要求15所述的方法，其特征在于，如果外部传感器数据和所述驾驶员相关传感器数据符合，则将跟踪识别为是有效的。
17.一种车辆(90)的安全系统，采用在前所述的权利要求的任何一个所述的方法。
18.一种车辆(90)的跟踪系统，采用权利要求1至16的任何一个所述的方法。
19.一种计算机程序，包括计算机程序代码，用来当在可编程微型计算机上运行所述程序时，执行如权利要求1至16的至少一个所述的方法，或者用在所述方法中。
20.如权利要求19所述的计算机程序，当在连接到互联网的计算机上运行时，用来下载到控制单元或其组件的一个上。
21.一种计算机程序产品，所述计算机程序产品存储在计算机可读介质上，包括用于计算机上的如权利要求1至16的任何一个所述的方法中使用的程序代码。
CN200880131895.5A 2008-11-07 2008-11-07 用于合并传感器数据的方法和系统 Active CN102292754B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2008/000634 WO2010053410A1 (en) 2008-11-07 2008-11-07 Method and system for combining sensor data

Publications (2)

Publication Number Publication Date
CN102292754A true CN102292754A (zh) 2011-12-21
CN102292754B CN102292754B (zh) 2014-07-30

Family

ID=42153074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880131895.5A Active CN102292754B (zh) 2008-11-07 2008-11-07 用于合并传感器数据的方法和系统

Country Status (5)

Country Link
US (1) US8781688B2 (zh)
EP (1) EP2347400B1 (zh)
CN (1) CN102292754B (zh)
BR (1) BRPI0823237A2 (zh)
WO (1) WO2010053410A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103523012A (zh) * 2012-07-03 2014-01-22 沃尔沃汽车公司 机动车辆碰撞警告系统
CN104271419A (zh) * 2012-03-16 2015-01-07 谷歌公司 鉴于约束主动修改自主车辆的视野
CN106767760A (zh) * 2016-12-30 2017-05-31 中国船舶重工集团公司第七0七研究所 基于多维度的多源船舶目标融合方法
CN107174262A (zh) * 2017-05-27 2017-09-19 西南交通大学 注意力评测方法和系统
CN108028023A (zh) * 2015-09-30 2018-05-11 索尼公司 信息处理装置、信息处理方法和程序

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2977551B1 (fr) * 2011-07-07 2014-01-24 Peugeot Citroen Automobiles Sa Dispositif d'aide aux manoeuvres d'un vehicule en fonction d'une estimation d'un temps de reaction global
CN102368351B (zh) * 2011-10-19 2014-10-29 北京航空航天大学 一种消解无信号交叉口两车交通冲突的方法
US20130229298A1 (en) * 2012-03-02 2013-09-05 The Mitre Corporation Threaded Track Method, System, and Computer Program Product
US8937552B1 (en) * 2013-01-02 2015-01-20 The Boeing Company Heads down warning system
US9734685B2 (en) 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US10185999B1 (en) 2014-05-20 2019-01-22 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and telematics
US10319039B1 (en) 2014-05-20 2019-06-11 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10354330B1 (en) 2014-05-20 2019-07-16 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and insurance pricing
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10475127B1 (en) 2014-07-21 2019-11-12 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and insurance incentives
US10088561B2 (en) * 2014-09-19 2018-10-02 GM Global Technology Operations LLC Detection of a distributed radar target based on an auxiliary sensor
US20210118249A1 (en) 2014-11-13 2021-04-22 State Farm Mutual Automobile Insurance Company Autonomous vehicle salvage and repair
JP6319350B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
JP6330712B2 (ja) * 2015-04-08 2018-05-30 トヨタ自動車株式会社 障害物検出装置
DE102015010270B4 (de) 2015-08-08 2021-10-28 Audi Ag Verfahren zum Betrieb von Fahrerassistenzsystemen in einem Kraftfahrzeug und Kraftfahrzeug
US20210272207A1 (en) 2015-08-28 2021-09-02 State Farm Mutual Automobile Insurance Company Vehicular driver profiles and discounts
US20170072850A1 (en) * 2015-09-14 2017-03-16 Pearl Automation Inc. Dynamic vehicle notification system and method
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10747234B1 (en) 2016-01-22 2020-08-18 State Farm Mutual Automobile Insurance Company Method and system for enhancing the functionality of a vehicle
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10528725B2 (en) 2016-11-04 2020-01-07 Microsoft Technology Licensing, Llc IoT security service
US10972456B2 (en) 2016-11-04 2021-04-06 Microsoft Technology Licensing, Llc IoT device authentication
US20180240025A1 (en) * 2017-02-17 2018-08-23 Microsoft Technology Licensing, Llc Behavior-based data corroboration
KR20180104235A (ko) * 2017-03-10 2018-09-20 만도헬라일렉트로닉스(주) 운전자 상태 모니터링 방법 및 장치
US20180268311A1 (en) * 2017-03-14 2018-09-20 Microsoft Technology Licensing, Llc Plausibility-based authorization
DE102017211607A1 (de) * 2017-07-07 2019-01-10 Robert Bosch Gmbh Verfahren zur Verifizierung einer digitalen Karte eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs
US11906625B2 (en) 2018-01-08 2024-02-20 The Regents Of The University Of California Surround vehicle tracking and motion prediction
CN112368598A (zh) * 2018-07-02 2021-02-12 索尼半导体解决方案公司 信息处理设备、信息处理方法、计算机程序和移动设备
KR102569900B1 (ko) * 2018-12-04 2023-08-23 현대자동차주식회사 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
KR102555916B1 (ko) * 2018-12-12 2023-07-17 현대자동차주식회사 Odm 정보 신뢰성 판단 장치 및 그의 판단 방법과 그를 이용하는 차량
US11625909B1 (en) * 2022-05-04 2023-04-11 Motional Ad Llc Track segment cleaning of tracked objects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521580A (en) * 1992-11-13 1996-05-28 Mitsubishi Denki Kabushiki Kaisha Danger avoidance system for a vehicle
EP1484014A1 (en) * 2003-06-02 2004-12-08 Delphi Technologies, Inc. Target awareness determination system and method
CN1941025A (zh) * 2005-09-28 2007-04-04 欧姆龙株式会社 通知控制装置和方法、记录介质及程序
EP1878604A1 (en) * 2006-07-11 2008-01-16 Delphi Technologies, Inc. Method of mitigating driver distraction
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7477758B2 (en) * 1992-05-05 2009-01-13 Automotive Technologies International, Inc. System and method for detecting objects in vehicular compartments
US5482314A (en) * 1994-04-12 1996-01-09 Aerojet General Corporation Automotive occupant sensor system and method of operation by sensor fusion
US20060284839A1 (en) * 1999-12-15 2006-12-21 Automotive Technologies International, Inc. Vehicular Steering Wheel with Input Device
US7527288B2 (en) * 1995-06-07 2009-05-05 Automotive Technologies International, Inc. Vehicle with crash sensor coupled to data bus
US6026340A (en) * 1998-09-30 2000-02-15 The Robert Bosch Corporation Automotive occupant sensor system and method of operation by sensor fusion
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
US6580973B2 (en) * 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US6925425B2 (en) * 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
US6909947B2 (en) * 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
US7124027B1 (en) * 2002-07-11 2006-10-17 Yazaki North America, Inc. Vehicular collision avoidance system
AU2003264048A1 (en) * 2002-08-09 2004-02-25 Intersense, Inc. Motion tracking system and method
SE0303122D0 (sv) * 2003-11-20 2003-11-20 Volvo Technology Corp Method and system for communication and/or interaction between a vehicle driver and a plurality of applications
DE102005014803A1 (de) * 2005-03-31 2006-10-05 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zum Steuern eines Kollisionsvermeidungssystems
US7460951B2 (en) 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
DE602006010380D1 (de) * 2006-09-08 2009-12-24 Ford Global Tech Llc System und Verfahren zur Bestimmung der Aufmerksamkeit auf einem Objekt
US7579942B2 (en) * 2006-10-09 2009-08-25 Toyota Motor Engineering & Manufacturing North America, Inc. Extra-vehicular threat predictor
US7741962B2 (en) * 2006-10-09 2010-06-22 Toyota Motor Engineering & Manufacturing North America, Inc. Auditory display of vehicular environment
US7880621B2 (en) * 2006-12-22 2011-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Distraction estimator
US7831407B2 (en) * 2008-07-24 2010-11-09 Gm Global Technology Operations, Inc. Adaptive vehicle control system with driving style recognition based on vehicle U-turn maneuvers
US20100019880A1 (en) * 2008-07-24 2010-01-28 Gm Global Technology Operations, Inc. Adaptive vehicle control system with driving style recognition based on traffic sensing
US8170725B2 (en) * 2009-02-18 2012-05-01 GM Global Technology Operations LLC Vehicle stability enhancement control adaptation to driving skill based on highway on/off ramp maneuver
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
KR101302134B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 복합 센서정보 제공 장치 및 방법
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521580A (en) * 1992-11-13 1996-05-28 Mitsubishi Denki Kabushiki Kaisha Danger avoidance system for a vehicle
EP1484014A1 (en) * 2003-06-02 2004-12-08 Delphi Technologies, Inc. Target awareness determination system and method
CN1941025A (zh) * 2005-09-28 2007-04-04 欧姆龙株式会社 通知控制装置和方法、记录介质及程序
EP1878604A1 (en) * 2006-07-11 2008-01-16 Delphi Technologies, Inc. Method of mitigating driver distraction
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104271419A (zh) * 2012-03-16 2015-01-07 谷歌公司 鉴于约束主动修改自主车辆的视野
CN103523012A (zh) * 2012-07-03 2014-01-22 沃尔沃汽车公司 机动车辆碰撞警告系统
US10053007B2 (en) 2012-07-03 2018-08-21 Volvo Car Corporation Motor vehicle collision warning system
CN108028023A (zh) * 2015-09-30 2018-05-11 索尼公司 信息处理装置、信息处理方法和程序
CN108028023B (zh) * 2015-09-30 2021-10-26 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
CN106767760A (zh) * 2016-12-30 2017-05-31 中国船舶重工集团公司第七0七研究所 基于多维度的多源船舶目标融合方法
CN107174262A (zh) * 2017-05-27 2017-09-19 西南交通大学 注意力评测方法和系统
CN107174262B (zh) * 2017-05-27 2021-02-02 西南交通大学 注意力评测方法和系统

Also Published As

Publication number Publication date
EP2347400A4 (en) 2013-03-27
WO2010053410A8 (en) 2011-09-01
BRPI0823237A2 (pt) 2015-06-16
WO2010053410A1 (en) 2010-05-14
CN102292754B (zh) 2014-07-30
EP2347400A1 (en) 2011-07-27
EP2347400B1 (en) 2014-03-12
US8781688B2 (en) 2014-07-15
US20120083974A1 (en) 2012-04-05

Similar Documents

Publication Publication Date Title
CN102292754B (zh) 用于合并传感器数据的方法和系统
Lee et al. Real-time rear-end collision-warning system using a multilayer perceptron neural network
Wachenfeld et al. The worst-time-to-collision metric for situation identification
US10710579B2 (en) Collision prediction system
Jiménez et al. An improved method to calculate the time-to-collision of two vehicles
US9478139B2 (en) Driving safety system and barrier screening method thereof
CN107848478A (zh) 低速碰撞的自动识别和评估
Lee et al. A study on the rear-end collision warning system by considering different perception-reaction time using multi-layer perceptron neural network
CN111191697B (zh) 基于传感器融合的adas道路测试验证优化方法和装置
US20130158809A1 (en) Method and system for estimating real-time vehicle crash parameters
US9616836B2 (en) Two dimensional pedestrian impact sensing
CN110275168A (zh) 一种多目标识别和防撞预警方法和系统
CN111103587A (zh) 用于预测同时并线车辆的方法和设备及包括其的车辆
US11631255B2 (en) Apparatus and method for controlling door opening
CN116872921A (zh) 一种车辆规避风险方法、系统、车辆及存储介质
Stöckle et al. Robust design of an automatic emergency braking system considering sensor measurement errors
Zolock et al. The use of stationary object radar sensor data from advanced driver assistance systems (ADAS) in accident reconstruction
US20050004719A1 (en) Device and method for determining the position of objects in the surroundings of a motor vehicle
CN113787997B (zh) 紧急制动控制方法、电子设备及存储介质
Kloeden et al. Effectiveness study of cooperative sensor systems for VRU-safety
TW201620746A (zh) 行車安全系統及其障礙物篩選方法
KR102287065B1 (ko) 위상 데이터 분석(tda) 기법을 이용한 차량의 추돌 가능성 예측 방법 및 장치
Muntzinger et al. Probability estimation for an automotive pre-crash application with short filter settling times
Sangorrin et al. Sensor data fusion for active safety systems
Matsubara et al. An Analysis Method of Safety Requirements for Automotive Software Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant