CN103661374A - 用于监测驾驶员对象检测的方法和系统 - Google Patents

用于监测驾驶员对象检测的方法和系统 Download PDF

Info

Publication number
CN103661374A
CN103661374A CN201310472409.9A CN201310472409A CN103661374A CN 103661374 A CN103661374 A CN 103661374A CN 201310472409 A CN201310472409 A CN 201310472409A CN 103661374 A CN103661374 A CN 103661374A
Authority
CN
China
Prior art keywords
sensor data
chaufeur
mapping
external sensor
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310472409.9A
Other languages
English (en)
Inventor
J·乔
M·A·马尼卡拉
N·J·维格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103661374A publication Critical patent/CN103661374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

本发明提供了检测车辆驾驶员是否检测到了车辆外部对象的方法和系统。在一个实施例中，该方法包括：接收指示车辆外部场景的外部传感器数据；接收指示驾驶员图像的内部传感器数据；基于外部传感器数据和内部传感器数据确定驾驶员是否检测到了对象；和基于驾驶员是否检测到了对象来选择性地生成控制信号。

Description

用于监测驾驶员对象检测的方法和系统
技术领域
技术领域大致涉及一种用于监测驾驶员对象检测的方法与系统，且更具体地，涉及一种使用立体视觉和视线检测来监测驾驶员对象检测和使用平视显示器来警告驾驶员的方法和系统。
背景技术
为了增强汽车的安全特征，平视显示器(HUD)被用于车辆上。平视显示器在挡风玻璃上投映出虚拟图像。呈现给驾驶员的图像包括与车辆状态(比如速度)相关的信息。这使得驾驶员能够在通过挡风玻璃向外看的同时容易地看到信息。因而，就使得驾驶员在驾驶的同时能够保持他们的平视位置而不是打断他们观看道路来确认信息。
在一些情况下，驾驶员观看道路仍然可能被暂时转移。比如，当调整信息娱乐系统设置时，驾驶员可能暂时不再观察道路以便观看信息娱乐系统。相应地，使用平视显示器来为驾驶员呈现警告信息是所期望的。另外，当驾驶员分心时，以引导驾驶员注意力回到道路上的方式来提供警告信息是期望的。更进一步的，结合附图和之前的技术领域还有背景技术，从随后的详细说明和所附的权利要求，本发明的其它所期望的特征和特性将会变得明显。
发明内容
提供检测车辆驾驶员是否检测到了车辆外部对象的方法和系统。在一个实施例中，一种方法包括：接收指示车辆外部场景的外部传感器数据；接收指示驾驶员图像的内部传感器数据；基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；以及基于驾驶员是否检测到对象来选择性地生成控制信号。
在一个实施例中，系统包括第一模块，用于接收指示车辆外部场景的外部传感器数据。第二模块，用于接收指示驾驶员图像的内部传感器数据。第三模块，用于基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到了对象。第四模块，基于驾驶员是否检测到对象来选择性地生成控制信号。
在一个实施例中，车辆包括平视显示系统和平视显示控制模块。该平视显示控制模块接收指示车辆外部场景的外部传感器数据，接收指示驾驶员图像的内部传感器数据，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象，以及基于驾驶员是否检测到对象来选择性地生成控制信号给平视显示系统。
此外，本发明包括以下技术方案。
1.一种检测车辆驾驶员是否检测到车辆外部对象的方法，包括：
接收指示车辆外部场景的外部传感器数据；
接收指示驾驶员图像的内部传感器数据；
基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；和
基于驾驶员是否检测到对象来选择性地生成控制信号。
2.如方案1的方法，进一步包括：映射外部传感器数据到平视显示器的坐标，并且其中，基于该映射确定驾驶员是否检测到对象。
3.如方案2的方法，进一步包括，基于外部传感器数据确定对象在车辆外部的位置，并且其中，映射外部传感器数据基于所确定的对象的位置。
4.如方案1的方法，进一步包括，映射内部传感器数据到平视显示器的坐标，并且其中，基于映射确定驾驶员是否检测到对象。
5.如方案4的方法，进一步包括，基于内部传感器数据来确定驾驶员的视线，并且其中，基于驾驶员的视线来映射内部传感器数据。
6.如方案1的方法，进一步包括：
映射外部传感器数据到平视显示器的坐标；
映射内部传感器数据到平视显示器的坐标；和
其中，基于外部传感器数据的映射和内部传感器数据的映射的比较来确定驾驶员是否检测到对象。
7.如方案1的方法，其中控制信号控制平视显示器上的图像。
8.如方案7的方法，其中控制信号控制平视显示器上的图像的高亮显示。
9.如方案8的方法，其中进一步基于对象的威胁状态选择性地生成控制信号。
10.如方案9的方法，其中控制信号基于威胁状态来控制高亮的颜色与频率中的至少一个。
11.如方案1的方法，其中控制信号控制车辆报警系统。
12.如方案1的方法，其中控制信号控制防止碰撞系统。
13.如方案1的方法，进一步包括，基于确定驾驶员是否检测到对象来选择性地生成第二控制信号，其中第二控制信号控制车辆报警系统和防止碰撞系统中的至少一个。
14.一种用于检测车辆驾驶员是否检测到车辆外部对象的系统，包括：
第一模块，接收指示车辆外部场景的外部传感器数据；
第二模块，接收指示驾驶员图像的内部传感器数据；
第三模块，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；和
第四模块，基于驾驶员是否检测到对象来选择性地生成控制信号。
15.如方案14的系统，其中第一模块映射外部传感器数据到平视显示器的坐标，和基于映射确定驾驶员是否检测到对象。
16.如方案15的系统，其中第一模块基于外部传感器数据来确定对象在车辆外部的位置，和基于对象的位置映射外部传感器数据。
17.如方案14的系统，其中第二模块映射内部传感器数据到平视显示器的坐标，和基于映射来确定驾驶员是否检测到对象。
18.如方案17的系统，其中第二模块基于内部传感器数据确定驾驶员视线，和基于驾驶员视线映射内部传感器数据。
19.如方案14的系统，其中控制信号控制平视显示器上的图像、车辆报警系统、和防止碰撞系统中的至少一个。
20.如方案19的系统，其中控制信号控制平视显示器上的图像的高亮显示。
21.如方案19的系统，其中第四模块基于对象的威胁状态选择性地生成控制信号。
22.如方案21的方法，其中控制信号基于威胁状态来控制图像的颜色和频率中的至少一个。
23.一种车辆，包括：
平视显示系统；和
平视显示控制模块，其接收指示车辆外部场景的外部传感器数据，接收指示车辆驾驶员图像的内部传感器数据，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象，和基于驾驶员是否检测到对象来选择性地生成控制信号给平视显示系统。
附图说明
示例性实施例将结合以下附图，在下文中被描述，其中相同的附图标记代表相同的元件，并且其中：
附图1是依据各种实施例的包括了驾驶员对象检测系统的车辆的功能方框图；
附图2是依据各种实施例的阐述了驾驶员对象检测系统的数据流图；
附图3是示出了依据各种实施例的可由驾驶员对象检测系统执行的一种驾驶员对象检测方法的流程图。
具体实施方式
以下的具体描述本质上仅仅是示例性的，且并不意图限定应用和使用。进一步地，其不被上述的技术领域、背景技术、发明内容和随后的具体描述中的任何表达或暗示的理论所限制。如本文所使用的，术语模块指代任何硬件，软件，固件，电子控制构件，处理逻辑，和／或处理器设备，独立地或任何组合，包括但不限于：专用集成电路(ASIC)，电子电路，用于执行一个或多个软件或固件程序的处理器(共享，专用，或组合)和内存，组合逻辑电路，和／或其他用于提供所描述功能的合适的构件。
现在参考附图1，示出车辆10，包括了根据各种实施例的驾驶员对象检测系统12。尽管此处所示出的附图描述了具有特定元件布置的示例，但是，附加的中间元件、设备、特征或构件能够在实际的实施例中出现。应该也能够理解，附图1仅仅是示意性的，可能不以比例画出。
在各种实施例中，驾驶员对象检测系统12包括外部传感器系统14、内部传感器系统16、平视显示器(HUD)控制模块18、和HUD系统20。外部传感器系统14与传感器设备22通信，传感器设备22包括一个或多个传感器，用于感知车辆10附近或前面的可观察的情况。传感器可以是图像传感器，雷达传感器，超声传感器，或其他感知车辆10附近的可观察情况的传感器。为了示范性意图，本公开以包括用于追踪车辆10前方的视觉图像的至少一个图像传感器或摄像机的传感器设备22为上下文进行讨论。该图像设备感知图像并且基于它生成传感器信号。外部传感器系统14处理传感器信号并且基于它生成外部传感器数据。
内部传感器系统16与传感器设备24通信，传感器设备24包括一个或多个能够感知车辆10内驾驶员可观察情况的传感器。为了示范性意图，本公开以包括用于追踪车辆10的驾驶员的视觉图像的至少一个图像传感器或摄像机的传感器设备24为上下文讨论。该图像设备感知该图像并基于它生成传感器信号。内部传感器系统16处理该传感器信号并基于它生成内部传感器数据。
HUD控制模块18接收由内部传感器系统16和外部传感器系统14生成的数据，并处理该数据以确定是否有对象(比如，人、交通标识等)在车辆10附近，并确定驾驶员是否已经检测和看到车辆10附近的对象。如果驾驶员还未检测到对象，HUD控制模块18选择性地生成信号到HUD系统20使得HUD系统20的显示器显示图像，该图像高亮该对象给驾驶员。HUD系统20显示对象的非持续高亮来图像化地将对象复制到车辆10的挡风玻璃(未示出)上。HUD系统20在挡风玻璃的一位置上显示该高亮，如果驾驶员注视着正确的方向，那么驾驶员在该位置处将看到对象。
在各种实施例中，HUD控制模块18选择性地生成控制信号使得高亮将对象的威胁状态指示给驾驶员。比如，当对象形成迫在眉睫的碰撞威胁时，依据第一显示准则显示该高亮；当对象形成中度的碰撞威胁时，根据第二显示准则显示该高亮；等等。HUD控制模块18生成控制信号以显示该高亮直至确定驾驶员已经看到并且确认了该对象。一旦确定了驾驶员已经确认了该对象，HUD控制模块18能够使高亮颜色黯淡或移除高亮。
在各种实施例中，当驾驶员尚未检测到对象时，HUD控制模块18与报警系统26(比如，听觉报警系统，触觉报警系统等)协同以进一步警告驾驶员有对象。在各种实施例中，当驾驶员尚未检测到对象时，HUD控制模块18与防止碰撞系统28(比如，制动系统)协同以避免与对象相撞。
现在参考附图2，数据流图阐释了驾驶员对象检测系统12的HUD控制模块18的各种实施例。依据本公开的HUD控制模块18的各种实施例可以包括任何数量的模块或子模块。应该能够理解，附图2中示出的模块可以结合在信号模块内和／或进一步分解成多个模块以类似地确定驾驶员的对象检测和使用HUD系统20警告驾驶员。HUD控制模块18的输入可以从车辆10(附图1)的传感器系统14,16接收，从车辆10(附图1)的其他模块(未示出)接收，和／或由HUD控制模块18的其他子模块(未示出)来确定。在各种实施例中，HUD控制模块18包括外部数据监测模块30、内部数据监测模块32、驾驶员对象检测分析模块34、HUD显示模块36、和HUD映射数据库38。
外部数据监测模块30接收外部传感器数据40作为输入。基于该外部传感器数据40，外部数据监测模块30检测对象是否在车辆10行驶的前方和行驶所在路径上。当对象被检测到时，外部数据监测模块将外部传感器数据40中表示的对象坐标映射到HUD系统20的显示器(即，挡风玻璃)的坐标，并基于它生成对象映射42。
例如，外部传感器数据40表示车辆10前方的场景。在二维(x，y)坐标系统内表示该场景。外部数据监测模块30使用HUD映射44将对象的每一个x,y坐标与显示器的x’，y’坐标联系起来。然后外部数据监测模块30在对象映射42的x’，y’坐标中存储与对象的x,y坐标相关联的数据。比如，在确定对象处于该坐标的每个坐标中存储正值或一值；且在确定对象不处于该坐标的每个坐标中存储负值或零值。在各个实施例中，HUD映射44可以是查找表，其通过场景的x,y坐标访问，且其生成显示器的x’，y’坐标。在各个实施例中，HUD映射44被预先确定并被存储在HUD映射数据库38中。
内部数据监测模块32接收内部传感器数据46作为输入。在各实施例中，内部传感器数据表示车辆10的驾驶员的图像(比如，头和面部)。内部数据监测模块32评估内部传感器数据46以确定驾驶员的视线(比如，眼睛视线和／或头部方向)。应该能够被理解，能够使用各种方法来确定驾驶员的视线。
在二维(x，y)坐标系统内表示该驾驶员视线。内部数据监测模块32将驾驶员视线坐标映射至显示器的坐标，并基于它生成视线映射48。
例如，内部数据监测模块32使用HUD映射50将驾驶员视线的每一个x,y坐标与显示器的x’，y’坐标联系起来。之后，内部数据监测模块32在视线映射48的x’，y’坐标内存储与驾驶员视线的x,y坐标关联的数据。比如，在确定驾驶员正在注视的每个坐标中存储正值或一值；且在确定驾驶员没有在注视的每个坐标中存储负值或零值。在各实施例中，HUD映射50可以是查找表，其通过驾驶员视线的x,y坐标来访问，并生成显示器的x’，y’坐标。在各个实施例中，HUD映射50被预先确定并被存储在HUD映射数据库38中。
驾驶员对象检测分析模块34接收对象映射42与视线映射48作为输入。驾驶员对象检测分析模块34评估对象映射42和视线映射48以确定驾驶员是否在观看被检测的对象，或是否在被检测对象的方向上看。驾驶员对象检测分析模块34基于驾驶员是否没有在观看被检测对象，或驾驶员是否正在观看被检测对象和已经发现被检测对象，来设置对象检测状态52。比如，若视线映射48的具有正数据的坐标不与对象映射42的具有正数据坐标重叠，那么，驾驶员不在观看被检测的对象，并且驾驶员对象检测分析模块34设置对象检测状态52，以指示驾驶员没有观看该对象。如果视线映射48的具有正数据的一些(比如，在坐标第一范围之间或在坐标第一百分比之内)或全部坐标与对象映射42的具有正数据的坐标重叠，驾驶员在观看被检测对象，并且驾驶员对象检测分析模块34设置对象检测状态52以指示驾驶员正在观看被检测对象。
HUD显示模块36接收驾驶员对象检测状态52和可选地接收威胁状态54作为输入。基于该驾驶员对象检测状态52，HUD显示模块36生成HUD控制信号56，在HUD系统20的显示器上选择性地高亮图像。比如，若对象检测状态52指示驾驶员确实看到了对象，便不会在显示器上高亮该对象。若对象检测状态52指示驾驶员没有在观看对象，便会生成HUD控制信号56，在显示器上高亮该对象。HUD显示模块36生成HUD控制信号56以在对象映射42所指示的位置高亮该对象。
在各实施例中，基于对象的威胁状态54来选择性地高亮对象，威胁状态54基于对象与车辆10之间的距离和／或与对象碰撞的估计时间来指示。比如，可以使用至少两种颜色，一种颜色用于高亮足够远的对象，此时碰撞时间被认定为安全(比如，中度威胁)，另一种颜色用于高亮足够近的对象，此时碰撞时间被认定为不安全(比如，迫在眉睫的威胁)。在各实施例中，从一个状态到另一个状态的颜色能够从一个到另一个渐变，因而允许更多的颜色。应能够被理解，对于具有更多威胁水平的系统而言，能够应用更多颜色。
在另一例子中，可以应用至少两个显示频率，其中，当认定对象处于第一威胁状态(比如，迫在眉睫的威胁状态)时，用一个显示频率(比如，较高频率)来闪现高亮，当认定对象处于第二威胁状态(比如，中度威胁状态)时，用第二显示频率(比如，较低频率)来闪现高亮。在各实施例中，一个状态到另一个状态的频率可以混合，因而允许更多的频率。应能够理解，对于具有更多威胁水平的系统而言，能够应用更多频率。
在各实施例中，当对象检测状态52指示驾驶员没有看到对象时，HUD显示模块36可以进一步与其他报警系统26和／或防止碰撞系统28协同。比如，可以选择性地生成报警信号58给报警系统26，以使得随着高亮而生成听觉警告或在高亮已经显示一段时间后生成听觉警告。在另一例子中，可以选择性地生成控制信号60给防止碰撞系统28，以使得随着高亮或高亮已经显示某个时间段后实施制动或其他防止碰撞技术。
现在参考附图3，并且继续参考附图1和附图2，流程图示出了根据各种实施例的能够被附图1中的驾驶员对象检测系统12所执行的驾驶员对象检测方法70。依据本公开能够理解，该方法内的操作顺序不限于附图3所示出的顺序执行，而是能够以合适的并且依据本公开的一个或多个不同顺序被执行。
进一步应该理解，附图3的方法在车辆10操作过程中可以被安排在预先确定的时间间隔运行，和／或可以被安排基于预先确定的事件来运行。
在一例子中，该方法可以开始于100。在各实施例中，步骤110和120基本同时进行，以便来自于传感器设备22,24的传感器数据40,46可以各自在给定的时间段上被对齐并比较。例如，在110，外部传感器设备22监测车辆10的外部场景并且收集外部传感器数据40。同样，在120，内部传感器设备24监测驾驶员并收集内部传感器数据46。在130处，处理外部传感器数据40来确定对象是否存在。在140，若不存在对象，该方法在110处继续监测场景和在120处监测驾驶员。在140，若检测到对象，那么，在150，使用HUD映射44，通过将由外部传感器数据40表示的对象进行映射来生成对象映射42。在160，从内部传感器数据46确定驾驶员的视线。在170，使用HUD映射50，将由内部传感器数据40表示的驾驶员视线进行映射来生成视线映射48。
之后，在180处，通过比较对象映射42和视线映射48来执行驾驶员对象检测分析。比如，若视线映射48的坐标与对象映射42的坐标重叠，那么，驾驶员的视线与该对象呈直线；但是，若视线映射48的坐标与对象映射42的坐标不重叠，那么驾驶员的视线与该对象不在一条直线。
之后，基于驾驶员的视线是否与对象呈直线来确定驾驶员是否在观看该对象。比如，若驾驶员的视线与对象不在一条直线，可以得出结论，驾驶员没有在看该对象。在另一例子中，若驾驶员的视线与对象在一条直线，可以得出结论，驾驶员在观看该对象。
在190处，若驾驶员看到对象，那么，HUD系统20并不高亮该对象，该方法可以在110和120处继续监测传感器数据40,46。但是，在190处，若驾驶员没有在看该对象，在200处，HUD系统20高亮该对象。该对象基于对象威胁状态54使用颜色和／或频率可选地被高亮。
在210处，生成报警信号58和／或控制信号60到其他报警系统26和／或防止碰撞系统28，通过将信号58,60与高亮协同，尝试警告驾驶员和／或避免与对象碰撞。之后，该方法在110和120处继续监测传感器数据40,46。
尽管在之前的详细描述中公开了至少一个示例性实施例，然而应该能够理解，存在大量变形。还同样能够理解，一个或多个示例性实施例仅仅是例子，并不以任何方式限制本公开的范围，应用和配置。此外，对本领域技术人员而言，之前的详细描述提供了一种实现一个或多个示例性实施例的便捷的道路图。应该能够理解，在不脱离本公开的范围内，能够对元件的功能和布置进行各种变化，本公开的范围由权利要求及其法律等同物来限定。

Claims (10)

1.一种检测车辆驾驶员是否检测到车辆外部对象的方法，包括：
接收指示车辆外部场景的外部传感器数据；
接收指示驾驶员图像的内部传感器数据；
基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；和
基于驾驶员是否检测到对象来选择性地生成控制信号。
2.如权利要求1的方法，进一步包括：映射外部传感器数据到平视显示器的坐标，并且其中，基于该映射确定驾驶员是否检测到对象。
3.如权利要求2的方法，进一步包括，基于外部传感器数据确定对象在车辆外部的位置，并且其中，映射外部传感器数据基于所确定的对象的位置。
4.如权利要求1的方法，进一步包括，映射内部传感器数据到平视显示器的坐标，并且其中，基于映射确定驾驶员是否检测到对象。
5.如权利要求4的方法，进一步包括，基于内部传感器数据来确定驾驶员的视线，并且其中，基于驾驶员的视线来映射内部传感器数据。
6.如权利要求1的方法，进一步包括：
映射外部传感器数据到平视显示器的坐标；
映射内部传感器数据到平视显示器的坐标；和
其中，基于外部传感器数据的映射和内部传感器数据的映射的比较来确定驾驶员是否检测到对象。
7.如权利要求1的方法，其中控制信号控制平视显示器上的图像。
8.如权利要求7的方法，其中控制信号控制平视显示器上的图像的高亮显示。
9.一种用于检测车辆驾驶员是否检测到车辆外部对象的系统，包括：
第一模块，接收指示车辆外部场景的外部传感器数据；
第二模块，接收指示驾驶员图像的内部传感器数据；
第三模块，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象；和
第四模块，基于驾驶员是否检测到对象来选择性地生成控制信号。
10.一种车辆，包括：
平视显示系统；和
平视显示控制模块，其接收指示车辆外部场景的外部传感器数据，接收指示车辆驾驶员图像的内部传感器数据，基于外部传感器数据和内部传感器数据来确定驾驶员是否检测到对象，和基于驾驶员是否检测到对象来选择性地生成控制信号给平视显示系统。
CN201310472409.9A 2012-09-07 2013-09-06 用于监测驾驶员对象检测的方法和系统 Pending CN103661374A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/607,232 US20140070934A1 (en) 2012-09-07 2012-09-07 Methods and systems for monitoring driver object detection
US13/607,232 2012-09-07

Publications (1)

Publication Number Publication Date
CN103661374A true CN103661374A (zh) 2014-03-26

Family

ID=50153518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310472409.9A Pending CN103661374A (zh) 2012-09-07 2013-09-06 用于监测驾驶员对象检测的方法和系统

Country Status (3)

Country Link
US (1) US20140070934A1 (zh)
CN (1) CN103661374A (zh)
DE (1) DE102013217405A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105607254A (zh) * 2014-11-13 2016-05-25 威斯通全球技术公司 调适透明电子显示器上的显示
CN105676452A (zh) * 2014-12-08 2016-06-15 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置
CN106446771A (zh) * 2015-08-12 2017-02-22 福特全球技术公司 驾驶员注意力评估
CN107278187A (zh) * 2015-02-23 2017-10-20 捷豹路虎有限公司 显示控制设备和方法
CN107531157A (zh) * 2015-04-17 2018-01-02 戴姆勒股份公司 用于监测显示内容的方法和装置
CN107640092A (zh) * 2016-07-20 2018-01-30 福特全球技术公司 车辆内部和外部监视
CN107867242A (zh) * 2016-09-26 2018-04-03 沃尔沃汽车公司 用于在车辆中使用物体显示装置的方法、系统和车辆
CN108068821A (zh) * 2016-11-08 2018-05-25 现代自动车株式会社 用于确定驾驶员的专注度的装置、具有其的系统及其方法
WO2018133365A1 (zh) * 2017-01-23 2018-07-26 上海蔚来汽车有限公司 用户场景调节方法及系统
CN111417889A (zh) * 2017-07-24 2020-07-14 Smr专利有限公司 用于在机动车中提供显示的方法以及机动车
CN112078475A (zh) * 2019-06-14 2020-12-15 奥迪股份公司 鉴于对交通状态而言重要的对象辅助驾驶员的方法和车辆
CN112528737A (zh) * 2014-06-03 2021-03-19 御眼视觉技术有限公司 用于检测对象的系统和方法
CN113246858A (zh) * 2019-02-27 2021-08-13 百度在线网络技术（北京）有限公司 车辆行驶状态图像生成方法、设备和系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
DE102014214701A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Beeinflussung der Informationsdarstellung auf einer Anzeigeeinrichtung in einem Fahrzeug
US9626866B2 (en) * 2014-08-12 2017-04-18 Continental Automotive Systems, Inc. Active warning system using the detection of driver awareness of traffic signs
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
US9168869B1 (en) * 2014-12-29 2015-10-27 Sami Yaseen Kamal Vehicle with a multi-function auxiliary control system and heads-up display
US10189405B2 (en) * 2015-01-14 2019-01-29 Yazaki North America, Inc. Vehicular multi-purpose warning head-up display
DE102017214545A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet
DE102017214505A1 (de) 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
WO2019103721A2 (en) * 2017-11-21 2019-05-31 Ford Global Technologies, Llc Object location coordinate determination
US11620419B2 (en) 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
JP6834997B2 (ja) * 2018-01-25 2021-02-24 日本電気株式会社 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム
US10607132B1 (en) * 2019-03-21 2020-03-31 Amazon Technologies, Inc. Techniques for managing device interactions in a workspace
US20220363196A1 (en) * 2019-10-03 2022-11-17 Stoneridge Electronics A.B. Vehicle display system with wearable display
US11793434B1 (en) * 2022-05-18 2023-10-24 GM Global Technology Operations LLC System to perform visual recognition and vehicle adaptation
JP2024006506A (ja) * 2022-07-04 2024-01-17 日本精機株式会社 表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101889299A (zh) * 2007-12-05 2010-11-17 博世株式会社 车辆信息显示系统
US20100292886A1 (en) * 2009-05-18 2010-11-18 Gm Global Technology Operations, Inc. Turn by turn graphical navigation on full windshield head-up display
WO2012010365A1 (de) * 2010-07-22 2012-01-26 Robert Bosch Gmbh Verfahren zur unterstützung eines fahrers eines kraftfahrzeugs
US20120271484A1 (en) * 2009-12-18 2012-10-25 Honda Motor Co., Ltd. Predictive Human-Machine Interface Using Eye Gaze Technology, Blind Spot Indicators and Driver Experience

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5907416A (en) * 1997-01-27 1999-05-25 Raytheon Company Wide FOV simulator heads-up display with selective holographic reflector combined
US6906836B2 (en) * 2002-10-04 2005-06-14 William Parker Full color holographic image combiner system
US7271960B2 (en) * 2005-07-25 2007-09-18 Stewart Robert J Universal vehicle head up display (HUD) device and method for using the same
US8700332B2 (en) * 2008-11-10 2014-04-15 Volkswagen Ag Operating device for a motor vehicle
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101889299A (zh) * 2007-12-05 2010-11-17 博世株式会社 车辆信息显示系统
US20100292886A1 (en) * 2009-05-18 2010-11-18 Gm Global Technology Operations, Inc. Turn by turn graphical navigation on full windshield head-up display
US20120271484A1 (en) * 2009-12-18 2012-10-25 Honda Motor Co., Ltd. Predictive Human-Machine Interface Using Eye Gaze Technology, Blind Spot Indicators and Driver Experience
WO2012010365A1 (de) * 2010-07-22 2012-01-26 Robert Bosch Gmbh Verfahren zur unterstützung eines fahrers eines kraftfahrzeugs

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216675B2 (en) 2014-06-03 2022-01-04 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
CN112528737A (zh) * 2014-06-03 2021-03-19 御眼视觉技术有限公司 用于检测对象的系统和方法
CN112528737B (zh) * 2014-06-03 2022-03-01 御眼视觉技术有限公司 用于检测对象的系统和方法
CN105607254A (zh) * 2014-11-13 2016-05-25 威斯通全球技术公司 调适透明电子显示器上的显示
CN105676452A (zh) * 2014-12-08 2016-06-15 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置
CN105676452B (zh) * 2014-12-08 2019-11-26 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置
CN107278187A (zh) * 2015-02-23 2017-10-20 捷豹路虎有限公司 显示控制设备和方法
US10437543B2 (en) 2015-02-23 2019-10-08 Jaguar Land Rover Limited Display control apparatus and method
US10691391B2 (en) 2015-02-23 2020-06-23 Jaguar Land Rover Limited Display control apparatus and method
CN107531157B (zh) * 2015-04-17 2019-08-06 戴姆勒股份公司 用于监测显示内容的方法和装置
CN107531157A (zh) * 2015-04-17 2018-01-02 戴姆勒股份公司 用于监测显示内容的方法和装置
CN106446771B (zh) * 2015-08-12 2022-02-25 福特全球技术公司 驾驶员注意力评估
CN106446771A (zh) * 2015-08-12 2017-02-22 福特全球技术公司 驾驶员注意力评估
CN107640092A (zh) * 2016-07-20 2018-01-30 福特全球技术公司 车辆内部和外部监视
CN107867242A (zh) * 2016-09-26 2018-04-03 沃尔沃汽车公司 用于在车辆中使用物体显示装置的方法、系统和车辆
US11279371B2 (en) 2016-09-26 2022-03-22 Volvo Car Corporation Method, system and vehicle for use of an object displaying device in a vehicle
CN108068821B (zh) * 2016-11-08 2022-01-07 现代自动车株式会社 用于确定驾驶员的专注度的装置、系统及其方法
CN108068821A (zh) * 2016-11-08 2018-05-25 现代自动车株式会社 用于确定驾驶员的专注度的装置、具有其的系统及其方法
WO2018133365A1 (zh) * 2017-01-23 2018-07-26 上海蔚来汽车有限公司 用户场景调节方法及系统
CN111417889A (zh) * 2017-07-24 2020-07-14 Smr专利有限公司 用于在机动车中提供显示的方法以及机动车
CN113246858A (zh) * 2019-02-27 2021-08-13 百度在线网络技术（北京）有限公司 车辆行驶状态图像生成方法、设备和系统
CN113246858B (zh) * 2019-02-27 2023-05-19 百度在线网络技术（北京）有限公司 车辆行驶状态图像生成方法、设备和系统
CN112078475A (zh) * 2019-06-14 2020-12-15 奥迪股份公司 鉴于对交通状态而言重要的对象辅助驾驶员的方法和车辆
CN112078475B (zh) * 2019-06-14 2023-07-25 奥迪股份公司 鉴于对交通状态而言重要的对象辅助驾驶员的方法和车辆

Also Published As

Publication number Publication date
US20140070934A1 (en) 2014-03-13
DE102013217405A1 (de) 2014-03-13

Similar Documents

Publication Publication Date Title
CN103661374A (zh) 用于监测驾驶员对象检测的方法和系统
EP2168815B1 (en) Method and device for detecting possibly colliding objects in a blind spot area
CN107054218B (zh) 标识信息显示装置和方法
JP6635428B2 (ja) 自動車周辺情報表示システム
JP5718942B2 (ja) 輸送手段の安全な運転を補助する装置及び方法
EP2544161B1 (en) Surrounding area monitoring device for vehicle
CN108621943B (zh) 用于在车辆电子显示器上动态显示图像的系统和方法
WO2016084149A1 (ja) 運転支援装置および運転支援方法
US20180114440A1 (en) Vehicle collision warnings based on a time-to-collision
CN106043308A (zh) 用于对汽车驾驶员进行专注性识别的方法和设备
CN109733283B (zh) 基于ar的被遮挡障碍物识别预警系统及识别预警方法
CN105966311B (zh) 用于校准摄像机的方法、车辆用的设备和计算机程序产品
US9881482B2 (en) Method and device for displaying information of a system
US10866416B2 (en) Display control device and display control method
CN103448653A (zh) 车辆碰撞报警系统和方法
US20150319608A1 (en) Method For Detecting Smart Device Use While Operating A Motor Vehicle
US20190244515A1 (en) Augmented reality dsrc data visualization
WO2019193715A1 (ja) 運転支援装置
US20220048502A1 (en) Event detection system for analyzing and storing real-time other-user vehicle speed and distance
CN109789879A (zh) 导航界面的安全可视化
EP2487666B1 (en) Method and driver assistance system for displaying images in a motor vehicle
JP2009154775A (ja) 注意喚起装置
JP2012128655A (ja) 運転支援装置
CN105459892A (zh) 使用透明显示器的提醒系统和方法
CN112959942A (zh) 基于ar-hud的汽车前向碰撞预警检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140326

RJ01 Rejection of invention patent application after publication