CN104842898B - 用于检测驾驶者对对象的注意力的方法和系统 - Google Patents

用于检测驾驶者对对象的注意力的方法和系统 Download PDF

Info

Publication number
CN104842898B
CN104842898B CN201510077504.8A CN201510077504A CN104842898B CN 104842898 B CN104842898 B CN 104842898B CN 201510077504 A CN201510077504 A CN 201510077504A CN 104842898 B CN104842898 B CN 104842898B
Authority
CN
China
Prior art keywords
notice
interest
driver
vehicles
sight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510077504.8A
Other languages
English (en)
Other versions
CN104842898A (zh
Inventor
A.科尼斯伯格
E.特伦
G.戈兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN104842898A publication Critical patent/CN104842898A/zh
Application granted granted Critical
Publication of CN104842898B publication Critical patent/CN104842898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0236—Circuits relating to the driving or the functioning of the vehicle for economical driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明公开了用于检测驾驶者对对象的注意力的方法和系统。方法和系统被提供用于检测交通工具司乘人员的注意力。在一个实施例中，一种方法包括：基于第一交通工具位置、第一交通工具取向以及第一视线方向由处理器计算在三维空间中的第一视线向量；基于第二交通工具位置、第二交通工具取向以及第二视线方向由所述处理器计算在所述三维空间中的第二视线向量；以及基于所述第一视线向量和所述第二视线向量确定所述司乘人员的所述注意力。

Description

用于检测驾驶者对对象的注意力的方法和系统
技术领域
本技术领域一般涉及用于检测驾驶者对兴趣点的注意力的方法和系统，并且具体涉及用于检测驾驶者对在三维空间中的兴趣点的注意力的方法和系统。
背景技术
视线（gaze）检测系统一般包括指向个人的眼睛并且追踪眼睛位置和个人的视线方向的一个或多个摄像头。交通工具系统使用视线检测系统来检测驾驶者的视线方向。然后将驾驶者的视线方向用于检测驾驶者对其前方道路的注意力或者驾驶者对在交通工具内的特征的一般注意力。
例如，一些交通工具系统使用驾驶者的视线方向来确定驾驶者是否未注意道路从而对驾驶者生成警告信号。在另一示例中，一些交通工具系统确定驾驶者正看向交通工具的具体控制旋钮或者开关的方向并且可基于该确定控制该具体元件（例如，打开它等）。在各个示例中，交通工具系统进行驾驶者在看哪里的一般确定以及不进行驾驶者在看什么（即，什么抓住了驾驶者的注意力）的确定。
因此，需要提供用于检测驾驶者对在三维空间中的点或者对象的注意力的方法和系统。另外，需要提供用于检测驾驶者对在交通工具外的具体点或者对象的注意力的方法和系统。另外，需要提供用于利用从检测到的驾驶者对具体点或者对象的注意力所确定的信息的方法和系统。此外，本发明的其他所需特征和特性将通过随后的结合附图和上述技术领域和背景所作的详细说明和所附权利要求书而变得显而易见。
发明内容
本发明提供了用于检测交通工具司乘人员的注意力的方法和系统。在一个实施例中，一种方法包括：基于第一交通工具位置、第一交通工具取向以及第一视线方向由处理器计算在三维空间中的第一视线向量；基于第二交通工具位置、第二交通工具取向以及第二视线方向由所述处理器计算在所述三维空间中的第二视线向量；以及基于所述第一视线向量和所述第二视线向量确定所述司乘人员的所述注意力。
在另一实施例中，系统包括第一模块，所述第一模块基于第一交通工具位置、第一交通工具取向以及第一视线方向计算在三维空间中的第一视线向量，并且基于第二交通工具位置、第二交通工具取向以及第二视线方向计算在所述三维空间中的第二视线向量。所述系统还包括第二模块，所述第二模块基于所述第一视线向量和所述第二视线向量确定所述司乘人员的所述注意力。
本发明还提供了如下技术方案。
1、一种用于检测交通工具司乘人员的注意力的方法，其包括：
基于第一交通工具位置、第一交通工具取向以及第一视线方向由处理器计算在三维空间中的第一视线向量；
基于第二交通工具位置、第二交通工具取向以及第二视线方向由所述处理器计算在所述三维空间中的第二视线向量；以及
基于所述第一视线向量和所述第二视线向量确定所述司乘人员的所述注意力。
2、根据方案1所述的方法，其中，所述三维空间在所述交通工具之外。
3、根据方案1所述的方法，其进一步包括：
基于所述第一视线向量和所述第二视线向量确定兴趣点，以及
其中，确定所述司乘人员的所述注意力基于所述兴趣点进行。
4、根据方案3所述的方法，其进一步包括：
确定所述第一视线向量和所述第二视线向量的交集点，以及
其中，确定所述兴趣点基于所述交集点进行。
5、根据方案3所述的方法，其进一步包括：
基于所述兴趣点从数据存储区检索对象数据；
基于所述对象数据定义兴趣对象，以及
其中，确定所述司乘人员的所述注意力基于所述兴趣对象进行。
6、根据方案2所述的方法，其进一步包括：
比较所述兴趣点与期望对象的位置；以及
当所述兴趣点与所述期望对象的位置不同时，生成通知数据以将所述司乘人员的注意力引导至所述期望对象。
7、根据方案6所述的方法，其中，从交通工具系统接收所述期望对象。
8、根据方案7所述的方法，其中，所述交通工具系统为导航系统。
9、根据方案6所述的方法，其中，所述期望对象基于通信到所述交通工具的期望对象的映射。
10、根据方案6所述的方法，其中，所述通知数据启动音频装置、显示屏、触觉装置、抬头显示器、车灯以及电话中的至少一个。
11、根据方案1所述的方法，其进一步包括：
将关于所述司乘人员的所述注意力的信息通信到全局注意力处理系统。
12、根据方案11所述的方法，其中，所述信息包括交通工具标识和司乘人员标识中的至少一个。
13、根据方案11所述的方法，其中，所述信息包括与驾驶者的所述注意力相关联的环境数据。
14、根据方案11所述的方法，其中，所述信息包括兴趣点和兴趣对象中的至少一个。
15、根据方案1所述的方法，其中，所述第一交通工具位置和所述第一交通工具取向根据绝对坐标系而定，
其中，所述第一视线方向根据交通工具坐标系而定；
其中，所述计算基于从所述交通工具坐标系变换为所述绝对坐标系的坐标变换方法；
其中，所述第二交通工具位置和所述第二交通工具取向根据所述绝对坐标系而定；
其中，所述第二视线方向根据所述交通工具坐标系而定；以及
其中，所述计算基于从所述交通工具坐标系变换为所述绝对坐标系的所述坐标变换方法。
16、根据方案15所述的方法，其进一步包括：
确定所述第一视线向量和所述第二视线向量的交集点，以及
其中，确定所述兴趣点基于所述交集点进行。
17、一种用于检测交通工具司乘人员的注意力的系统，其包括：
第一模块，其基于第一交通工具位置、第一交通工具取向以及第一视线方向计算在三维空间中的第一视线向量，并且基于第二交通工具位置、第二交通工具取向以及第二视线方向计算在所述三维空间中的第二视线向量；以及
第二模块，其基于所述第一视线向量和所述第二视线向量确定所述司乘人员的所述注意力。
18、根据方案17所述的系统，其中，所述第二模块基于所述第一视线向量和所述第二视线向量的交集点确定所述司乘人员的所述注意力。
19、根据方案18所述的系统，其进一步包括：
第三模块，其基于所述兴趣点从数据存储区检索对象数据，并且基于所述对象数据定义兴趣对象，以及
其中，所述第二模块基于所述兴趣对象确定所述司乘人员的所述注意力。
20、根据方案17所述的系统，其进一步包括：
第四模块，其比较所述兴趣点与期望对象的位置，并且当所述兴趣点与所述期望对象的位置不同时，生成通知数据以将所述司乘人员的注意力引导至所述期望对象。
附图说明
下文将结合以下附图对示例性实施例进行描述，其中，相同的附图标记表示相同的元件，以及在附图中：
图1是根据各个实施例的包括与注意力引导系统和/或全局（global）注意力处理系统通信的驾驶者注意力检测系统的交通工具的功能框图；
图2是图示了根据各个实施例的驾驶者注意力检测系统的功能模块的功能框图；
图3是根据各个实施例的用于由驾驶者注意力检测系统确定驾驶者注意力的视线向量的图示；
图4是图示了根据各个实施例的全局注意力处理系统的功能模块的功能框图；
图5是图示了根据各个实施例的可由驾驶者注意力检测系统执行的驾驶者注意力检测方法的流程图；
图6是图示了根据各个实施例的可由驾驶者注意力检测系统执行的驾驶者注意力引导方法的流程图；
图7是图示了根据各个实施例的可由图1的全局注意力处理系统执行的全局注意力处理方法的流程图。
具体实施方式
以下详细说明仅为示例性质，并不旨在限制本公开或使用。此外，本发明无意于受在前述技术领域、背景技术、发明内容或以下的具体实施方式中呈现的任何明示或暗示的理论的制约。应理解的是，在整个附图中，相应的附图标记指示相同或相应的部分和特征。如本文所使用的术语模块指的是任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，处理器装置非限制性地单独地或以任何组合地包括：专用集成电路（ASIC）、电子电路、处理器（共享处理器、专用处理器或处理器组）和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述的功能的其他适当的部件。
图1是根据各个实施例的包括与驾驶者注意力引导系统14和/或全局（或综合）注意力处理系统16通信的驾驶者注意力检测系统12的交通工具10的功能框图。如可了解的，交通工具10可为任何交通工具，其包括但不限于：汽车、飞机、宇宙飞船、船只、运动型多用途车或任何其他类型的交通工具10。虽然本文所示出的图利用元件的特定设置描述了示例，但在实际实施例中可以存在附加的介入元件、装置、特征或部件。还应该了解，图1仅为说明性的并且可不按比例绘制。
如图所示，示例性驾驶者注意力检测系统12包括：检测交通工具10的司乘人员（诸如驾驶者和/或其他司乘人员）对在三维空间中的点的注意力的注意力确定模块18。出于示例性的目的，将在检测驾驶者的注意力的情况下对本公开进行论述。如将在下面的示例性实施例中论述的，注意力确定模块18检测驾驶者对在交通工具10外的点（称为兴趣点）的注意力，以及，在一些情况下，把该点与位于该点的具体对象（称为兴趣对象）关联起来。例如，该对象可为驾驶者正关注的固定或移动对象，诸如但不限于：道路特征（例如，出口坡道、红绿灯、路标、护轨、另一交通工具、行人等）、广告特征（例如，公告牌、指示牌、建筑物、在移动交通工具上的指示牌等）、或者具体地标（例如，自然地标或人造地标）。
一旦检测到兴趣点和/或兴趣对象，注意力确定模块18便存储有关驾驶者对兴趣点和/或兴趣对象的注意力的信息以便将来使用。例如，注意力确定模块18存储驾驶者的注意力停留在兴趣点和/或兴趣对象上的时间、兴趣点的位置以及任何描述兴趣对象的信息，如果识别到的话。
在各个实施例中，基于有关驾驶者当前注意力的信息，注意力确定模块18确定是否在三维空间上引导驾驶者对不同的兴趣点和/或兴趣对象的注意力。例如，如果确定的驾驶者的注意力指示驾驶者正把目光从具体期望兴趣点或兴趣对象移开，则注意力确定模块18可向驾驶者注意力引导系统14提供通知数据。驾驶者注意力引导系统14反过来包括：基于通知数据选择性地启动以引导驾驶者的注意力的一个或多个引导装置。如可了解的，引导装置可包括但不限于：车灯装置、显示屏、音频装置、触觉装置、电话（例如，与交通工具10配对的个人电话或与交通工具10集成的电话）、抬头显示器或其任何组合。
在各个实施例中，注意力确定模块18将有关驾驶者的注意力的信息通信到全局注意力处理系统16。该通信可通过，例如，无线通信系统20（例如，Wi-Fi系统、蜂窝网络系统、蓝牙系统等）或交通工具10的其他通信系统（未示出）进行。全局注意力处理系统16对来自交通工具10和/或来自多个交通工具（未示出）的信息进行处理以确定全局兴趣点（即，由单个驾驶者、由许多司乘人员或者由许多交通工具查看了许多次的兴趣点）、全局兴趣对象（即，由单个驾驶者、由许多司乘人员或者由许多交通工具查看了许多次的兴趣对象）和/或其他统计数据。
在各个实施例中，注意力确定模块18基于从交通工具10的一个或多个系统接收到的信息检测驾驶者对兴趣点和/或兴趣对象的注意力。例如，注意力确定模块18从全球定位系统22、视线检测系统24、惯性测量系统26以及对象映射数据存储卡28接收输入。如可了解的，在各个实施例中，注意力确定模块18可从除了所示出的和所描述的系统之外的或作为所示出的和所描述的系统的替代系统的其他系统（未示出）接收输入。
全球定位系统22与卫星（未示出）通信以导出交通工具10的当前位置（例如，经纬度坐标）。全球定位系统22向注意力确定模块18提供位置信息。如可了解的，确定交通工具10的位置的其他系统可用作替代系统。这类系统可包括但不限于：天线信号三角测量系统或其他系统。
视线检测系统24包括：追踪驾驶者（或其他司乘人员）的眼睛位置、眼睛运动、头部位置和/或头部运动的一个或多个追踪装置（例如，诸如摄像头或其他装置）；以及对来自追踪装置的数据进行处理以确定驾驶者（或其他司乘人员）的视线方向的图像处理器。视线检测系统24向注意力确定模块18提供视线方向。如可了解的，视线检测系统24可提供驾驶者、其他司乘人员以及/或者驾驶者和其他司乘人员的视线方向。出于示例性的目的，将在视线检测系统24提供驾驶者的视线方向的情况下对本公开进行论述。
惯性测量系统26包括：确定交通工具10的取向的一个或多个测量装置。惯性测量系统26向注意力确定模块18提供交通工具10的取向（例如，方位和仰角）。如可了解的，可将确定交通工具10的取向的其他系统用作替代系统。这类系统可包括但不限于罗盘或其他系统。
对象映射数据存储区28以诸如映射格式的格式存储有关在三维空间中的对象的位置信息和描述性信息（例如，名字或对象类型）。可通过无线通信系统20将该映射提供至交通工具10。可从固定系统（例如，从中央处理中心）或移动系统（例如，从另一交通工具）将该映射通信到交通工具10。如可了解的，可为特定类型的对象提供单独的映射，或者，可为任何数量的不同类型的对象提供单个映射。可基于交通工具10的位置或其他指标将该映射选择性地提供和/或存储至对象映射数据存储区28。对象映射数据存储区28将该映射提供至注意力确定模块18。
现参考图2，并且继续参考图1，图2的功能的框图图示了注意力确定模块18的各个实施例。根据本公开的注意力确定模块18的各个实施例可包括任何数量的子模块。如可了解的，可组合和/或进一步分割图2所示出的子模块以相似地检测驾驶者对在三维空间中的点和/或对象的注意力。在各个实施例中，如图2所示，注意力确定模块18包括：视线向量计算模块30、注意力确定模块32、注意力引导模块34、视线向量数据存储区36、注意力数据数据存储区38以及注意力数据通信模块39。
视线向量计算模块30接收交通工具位置数据40（例如，从GPS系统22）、视线方向数据42（例如，从视线检测系统24）以及交通工具取向数据44（例如，从惯性测量系统26）作为输入。接收到的数据40-44与具体时间（t）相关联。例如，交通工具位置数据40可指示在具体时间（t）处以绝对坐标（X, Y, Z）表示的交通工具10的位置。交通工具取向数据44可指示在具体时间（t）处的以绝对坐标（X, Y, Z）表示的交通工具的指向向量。视线方向数据42可指示相对于在具体时间（t）处的交通工具坐标（X, Y, Z）的驾驶者的视线方向。
基于输入40-44，视线向量计算模块30确定对于具体时间（t）的驾驶者的以绝对坐标（X, Y, Z）表示的视线向量46并且存储在视线向量数据存储区36中的视线向量46以便将来使用。例如，如图3所示，第一交通工具10a的位置（L1）可在对应于在道路上的第一位置A的第一时间t1处以绝对坐标提供。第一交通工具10a的取向或方位（B1）可以绝对坐标提供并且可包括方位角和仰角。驾驶者的视线方向可以交通工具坐标提供并且可包括角α1。视线向量（G1）以交通工具坐标（x1, y1, z1）基于角α1确定，然后使用坐标系变换基于位置和方位（L1, B1, t1）转换为绝对坐标。
随着交通工具10a在道路上从第一位置A向前移动至第二位置B，交通工具10a的位置（L2）在第二时间t2处以绝对坐标提供。第一交通工具10a的取向或方位（B2）可以绝对坐标提供并且可包括方位角和仰角。驾驶者的视线方向可以交通工具坐标提供并且可包括角α2。第二视线向量（G2）以交通工具坐标（x2, y2, z2）基于角α2确定，然后使用坐标系变换基于位置和方位（L2, B2, t2）转换为绝对坐标。
同样，如果第二交通工具10b在道路的对立车道的相反方向上行驶，则第二交通工具10b的位置（L3）可对应于在道路上的第一位置C在第一时间t3处以绝对坐标提供。第二交通工具10b的取向或方位（B3）可以绝对坐标提供并且可包括方位角和仰角。驾驶者的视线方向可以交通工具坐标提供并且可包括角α3。视线向量（G3）以交通工具坐标（x3, y3, z3）基于角α3确定，然后使用坐标系变换基于位置和方位（L3, B3, t3）转换为绝对坐标。
随着交通工具10b在道路上从第一位置C向前移动至第二位置D，交通工具10b的位置（L4）在第二时间t4处以绝对坐标提供。第二交通工具10b的取向或方位（B4）可以绝对坐标提供并且可包括方位角和仰角。驾驶者的视线方向可以交通工具坐标提供并且可包括角α4。第二交通工具10b的第二视线向量（G4)）以交通工具坐标（x4, y4, z4）基于角α4确定，然后使用坐标系变换基于位置和方位（L4, B4, t4）转换为绝对坐标。
将计算后的视线向量（G1和G2）存储在第一交通工具10a的视线向量数据存储区36中；以及将计算后的视线向量（G3和G4）存储在第一交通工具10b的视线向量数据存储区36中。在一些情况下，可将视线向量（G3和G4）通信到第一交通工具10a并且存储在第一交通工具10a的视线向量数据存储区36中。同样，可将视线向量（G1和G2）通信到第二交通工具10b并且存储在第二交通工具10b的视线向量数据存储区36中。
再次参考图2，并且继续参考图1，注意力确定模块32接收存储在视线向量数据存储区36中的视线向量48作为输入。视线向量48可为来自单个交通工具（例如，图2的交通工具10a）或多个交通工具（例如，图2的交通工具10a和10b）的视线向量48。基于视线向量48，注意力确定模块32在绝对坐标系中确定具体时间49的兴趣点47。例如，注意力确定模块32在特定时间周期对视线向量48的数量进行评估，并且如果在该时间周期中的视线向量48的阈值数量有交集（intersect），则确定对于该时间周期，兴趣点在视线向量48的交集处或附近。注意力确定模块32然后将兴趣点47设置为在具体时间49处的交集的坐标。
在各个实施例中，如果兴趣点47的确定性低（例如，仅有最少数量的视线向量48有交集，或者兴趣点远离交通工具等），则注意力确定模块32可依赖于来自附加源的数据以确认兴趣点47。例如，可将从全局注意力处理系统16接收到的统计数据或来自交通工具10的其他系统的数据用于确认兴趣点47。
如果兴趣点47确定，则注意力确定模块32然后选择性地从对象映射数据存储区28检索对象数据50。例如，注意力确定模块32可对位于兴趣点47处的对象的对象映射数据存储区28的映射进行评估。如果该映射指示对象位于兴趣点47处，则注意力确定模块32使用有关来自对象映射数据存储区28的对象的描述性信息来限定在具体兴趣点处的兴趣对象51。注意力确定模块32然后将兴趣点47、时间49以及兴趣对象51作为注意力数据52存储在注意力数据数据存储区38中以便将来使用。然而，如果该映射不指示对象位于兴趣点47处，则注意力确定模块32可利用兴趣点47和从其他源（例如，从诸如交通工具摄像头或其他系统的交通工具系统，或者从远离交通工具的系统）（如可用）接收到的有关兴趣点47的信息来更新该映射。
注意力数据通信模块39从注意力数据数据存储区38检索注意力数据52并且准备用于由无线通信系统20通信到全局注意力处理系统16的注意力数据52。例如，注意力数据通信模块39利用司乘人员标识57（例如，如果可追踪多司乘人员）、交通工具标识53（例如，识别交通工具和/或交通工具类型的VIN或其他数据）以及任选的环境数据55（例如，限定在其期间确定注意力数据的状况的数据，诸如但不限于，天气状况、路况、车况等）来将一时间周期的注意力数据52打包并且将打包数据54通信到无线通信系统20，从而通信到全局注意力处理系统16。
注意力引模块34接收交通工具位置数据56（例如，从全球定位系统22）以及注意力数据52作为输入。基于输入52、56，注意力引导模块34确定驾驶者的注意力是否引导向期望对象。在各个实施例中，期望对象可在期望对象的映射中限定并且存储在映射数据存储区38中。例如，基于交通工具位置数据56，注意力引导模块34选择性地从对象映射数据存储区28的映射检索对象数据58（即，限定在接近交通工具位置附近的期望对象的数据）。在各个实施例中，期望对象可由交通工具10的系统确定。例如，期望对象可从交通工具的导航系统或其他系统接收（数据流未示出）。
注意力引导模块34然后比较来自注意力数据52的兴趣点47和来自对象数据58的期望对象的位置。如果兴趣点47和期望对象的位置相对相同，则注意力引导模块34确定驾驶者的注意力朝向期望对象并且不发送通知数据60。然而，如果兴趣点47与期望对象的位置不同，则注意力引导模块34确定驾驶者的注意力不朝向期望对象（相反，其可朝向在映射上的另一对象或者不朝向任何对象），并且注意力引导模块34发送通知数据60至注意力引导系统14以引导驾驶者的注意力。
现参考图4，并且继续参考图1，图4的功能框图图示了图1的全局注意力处理系统16的各个实施例。根据本公开的全局注意力处理系统16的各个实施例可包括任何数量的子模块。如可了解的，可组合和/或进一步分割图4所示出的子模块以类似地接收并且处理图2的驾驶者注意力数据54。在各个实施例中，全局注意力处理系统16包括数据存储模块62、全局注意力数据数据存储区64、一个或多个数据处理模块66a-66n以及输出生成模块68。
数据存储模块62从各种交通工具10a、10b等接收驾驶者注意力数据54a-54n作为输入并且选择性地将驾驶者注意力数据54a-54n存储在全局注意力数据数据存储区64中。例如，数据存储模块基于交通工具数据70、时间数据72、兴趣点数据74、兴趣对象数据76、各种环境数据77和/或司乘人员数据选择性地对数据进行分类并且存储数据。
数据处理模块66a-66n选择性地从驾驶者注意力数据数据存储区64检索所存储的数据并且使用一个或多个数据处理方法对数据进行处理以产生各种统计数据。例如，第一数据处理模块66a对数据进行处理以确定全局兴趣点78，即，由具体驾驶者、由许多交通工具司乘人员和/或由许多交通工具识别许多次的兴趣点。在另一示例中，第二数据处理模块66b对数据进行处理以确定全局兴趣对象80，即，由具体驾驶者、由许多交通工具司乘人员和/或由许多交通工具识别许多次的兴趣对象。在另一示例中，第三数据处理模块66对具体点或对象被识别为兴趣点或兴趣对象的频率82（即，当驾驶者驱车经过时对象实际吸引驾驶者注意的频率）的数据进行处理。在另一示例中，数据处理模块66d对数据进行处理以（例如，使用协同过滤方法）识别在驾驶者注意力与其他驾驶者的注意力之间的相似度84。在其他示例中，数据处理模块66e对数据进行处理以识别确定更易于注意的具体点或对象的环境状况86（例如，天气、路况、交通、季节等）。在其他示例中，数据处理模块66f对数据进行处理以识别注意力分散（spatter）88（即，驾驶者多久改变其注意焦点）和在注意力分散周围的环境数据，诸如当日时间、天气状况等。
输出生成模块68从数据处理模块66a-66n接收处理后的数据78-82。输出生成模块68基于处理后的数据生成一个或多个报告90。例如，输出生成模块68生成图形报告，诸如包括全局兴趣点78或全局兴趣对象80的标识（例如，热点或其他标识）的映射。在另一示例中，输出生成模块68生成：包括频率82和/或其他统计数据84-88的文本和/或数据报告。
在各个实施例中，可将数据报告通信回交通工具10并且交通工具10可使用来自数据报告的数据（例如，作为概率或权重）以确定将来的兴趣点和/或兴趣对象。在各个实施例中，可用其他数据（例如，从交通工具或其他实体接收到的其他数据）对统计数据作进一步处理以生成探求关于对具体对象的注意力的其他动作的概率报告。这类动作可包括但不限于，购买在广告中见过的物品，驱车前往具体目的地，其他事件。在各个实施例中，可用其他数据对统计数据进行处理以生成可能使驾驶者分心从而使驾驶者失去焦点的路况报告。可将这些报告通信到诸如公路部门等的企业单位并且/或者可将其通信回交通工具10，从而在路况期间用于增强型交通工具控制。
现参考图5-6并且继续参考图1-4，图5-6的流程图图示了根据各个实施例的可由注意力确定模块18的子模块执行的注意力确定方法和注意力引导方法。如按照本公开可了解的，在该方法内的操作顺序不限于如图5-6所图示的顺序执行，而是如果适用的话并且根据本公开可以一个或多个不同的顺序执行。如可进一步了解的，在不改变该方法的精神的情况下，可增加或删除该方法的一个或多个步骤。
具体参考图5，图5的流程图图示了根据示例性实施例的用于确定驾驶者注意力的方法100的步骤的示例性顺序。该方法可始于105。在110处接收以绝对坐标指示交通工具位置的交通工具位置数据40。在120处接收以绝对坐标指示交通工具取向的交通工具取向数据44。在130处接收以交通工具坐标指示视线方向的视线方向数据42。在140处，基于交通工具位置、交通工具取向以及视线方向，视线向量46以绝对坐标（例如，如上面所述的，或者，根据其他方法）计算并且存储。
如果在150处对视线向量执行处理的启用条件（例如，在特定时间周期未存储的特定数量的视线向量，或者其他启用条件）不满足，则该方法在230处结束。然而，如果对视线向量执行处理的启用条件在150处满足，则在160-220处对视线向量48进行处理。
例如，在160处从视线向量数据存储区36检索到与时间周期相关联的视线向量48。在170处，确定时间周期的x或更多视线向量是否有交集。如果在170处时间周期的x或更多视线向量没有交集，则该方法可在230处结束。然而，如果时间周期的x或更多视线向量在170处有交集，则在180处将兴趣点设置为交集点。在190处从对象映射数据存储区28检索到兴趣点的映射。如果在200处兴趣对象从映射确定，则在210处生成注意力数据52，其包括司乘人员识别（如果为多个司乘人员）、交通工具识别数据、兴趣点数据、时间数据以及兴趣对象数据并且将其存储。此后，该方法在230处结束。然而，如果在200处兴趣对象未从映射确定，则在220处生成注意力数据52，其包括司乘人员识别（如果为多个司乘人员）、交通工具识别数据、兴趣点数据一级时间数据并且将其存储。此后，该方法在230处结束。
具体参考图6，图6的流程图图示了根据示例性实施例的用于引导驾驶者注意力的方法300的步骤的示例性顺序。如可了解的，该方法可用于任何数量的情境中以引导驾驶者的注意力。例如，该方法可用于导航系统以引导驾驶者对路标、下一个转弯或出口坡道的注意力。在另一实施例中，该方法可由广告系统使用以将驾驶者的注意力引导至即将到来的具体的广告牌。
该方法可始于305。在310处接收指示交通工具10的当前位置的交通工具位置数据56。在320处从对象映射数据存储区28检索对象数据58。在330处确定期望的兴趣对象是否位于交通工具10的位置处或附近。兴趣对象的吸引力可取决于执行该方法的系统的类型。例如，如果执行该方法的是导航系统，则期望的兴趣对象可为在导航线路中的下一个出口。
如果在330处期望的兴趣对象不位于交通工具10的位置处或附近，则该方法可在380处结束。然而，如果在330处期望的兴趣对象位于交通工具10的位置处或附近，则通知数据60选择性地在340-370处生成。例如，在340处接收注意力数据52，以及在350处确定注意力数据52是否指示在该时间驾驶者的兴趣点位于期望的兴趣对象的位置处或附近。如果在350处兴趣点位于期望的兴趣对象的位置处或附近，则不生成方向通知数据60并且该方法可在380处结束（例如，确定驾驶者的注意力已经在期望的兴趣对象上）。然而，如果在350处兴趣点不位于期望的兴趣对象的位置处或附近，则在360处生成方向通知数据60并且在370处经由注意力引导系统14通知驾驶者。此后，该方法可在380处结束。
参考图7并且继续参考图1-4，图7的流程图图示了根据示例性实施例的用于处理注意力数据54a-54n的以及可由全局注意力处理系统16执行的方法400的步骤的示例性顺序。该方法可始于405。在410处接收具体交通工具10a的注意力数据54a。在420处基于交通工具标识70、交集点74、时间72和/或兴趣对象76将注意力数据54a选择性地存储在全局注意力数据数据存储区64中。
在430处确定对全局注意力数据数据存储区64的注意力数据进行处理的启用条件是否满足。如果在430处启用条件不满足，则该方法可在470处结束。然而，如果在430处启用条件满足，则在440处使用一个或多个处理方法（例如，频率处理、全局兴趣对象处理、全局兴趣点处理等）对存储的注意力数据进行处理，以及在450处生成图形格式、文本格式和/或数据格式的结果报告。然后在460处根据所执行的处理类型将报告通信到交通工具或其他实体以便使用。此后，该方法可在470处结束。
如可了解的，所公开的方法和系统可不同于图中所描绘的和本文所描述的方法和系统。例如，如上所提及的，在特定实施例中，图1的交通工具10，以及图2和4的模块，和/或其部分和/或部件可改变，并且/或者可完全或部分地设置在大量不同交通工具单元、装置和/或系统中的任何一个或多个中。另外，要了解，方法100、300以及400的特定步骤可不同于在图5-7中所描绘的和/或结合其在上文描述的步骤。另外，要了解，方法100、300以及400的特定步骤可同时发生或者以与在图5-7中所描绘的和/或结合其在上文描述的步骤不同的顺序发生。
虽然在上面的详细说明中已经呈现了至少一种示例性实施例，但是应了解，还存在大量变型。还应了解，示例性实施例或多个示例性实施例仅为示例，并不旨在以任何方式限制本公开的范围、应用或配置。确切地说，上面的详细说明将为本领域的技术人员提供实施示例性实施例或多个示例性实施例的便捷指南。应理解，在不脱离如所附权利要求书及其法律等效物所提出的本公开的范围的情况下，可对要素的功能和布置进行多种改变。

Claims (20)

1.一种用于检测交通工具司乘人员的注意力的方法，其包括：
基于第一交通工具位置、第一交通工具取向以及第一视线方向由处理器计算在三维空间中的第一视线向量；
基于第二交通工具位置、第二交通工具取向以及第二视线方向由所述处理器计算在所述三维空间中的第二视线向量；以及
基于所述第一视线向量和所述第二视线向量确定所述司乘人员的所述注意力。
2.根据权利要求1所述的方法，其中，所述三维空间在所述交通工具之外。
3.根据权利要求1所述的方法，其进一步包括：
基于所述第一视线向量和所述第二视线向量确定兴趣点，以及
其中，确定所述司乘人员的所述注意力基于所述兴趣点进行。
4.根据权利要求3所述的方法，其进一步包括：
确定所述第一视线向量和所述第二视线向量的交集点，以及
其中，确定所述兴趣点基于所述交集点进行。
5.根据权利要求3所述的方法，其进一步包括：
基于所述兴趣点从数据存储区检索对象数据；
基于所述对象数据定义兴趣对象，以及
其中，确定所述司乘人员的所述注意力基于所述兴趣对象进行。
6.根据权利要求3所述的方法，其进一步包括：
比较所述兴趣点与期望对象的位置；以及
当所述兴趣点与所述期望对象的位置不同时，生成通知数据以将所述司乘人员的注意力引导至所述期望对象。
7.根据权利要求6所述的方法，其中，从交通工具系统接收所述期望对象。
8.根据权利要求7所述的方法，其中，所述交通工具系统为导航系统。
9.根据权利要求6所述的方法，其中，所述期望对象基于通信到所述交通工具的期望对象的映射。
10.根据权利要求6所述的方法，其中，所述通知数据启动音频装置、显示屏、触觉装置、抬头显示器、车灯以及电话中的至少一个。
11.根据权利要求1所述的方法，其进一步包括：
将关于所述司乘人员的所述注意力的信息通信到全局注意力处理系统。
12.根据权利要求11所述的方法，其中，所述信息包括交通工具标识和司乘人员标识中的至少一个。
13.根据权利要求11所述的方法，其中，所述信息包括与驾驶者的所述注意力相关联的环境数据。
14.根据权利要求11所述的方法，其中，所述信息包括兴趣点和兴趣对象中的至少一个。
15.根据权利要求1所述的方法，其中，所述第一交通工具位置和所述第一交通工具取向根据绝对坐标系而定，
其中，所述第一视线方向根据交通工具坐标系而定；
其中，所述计算基于从所述交通工具坐标系变换为所述绝对坐标系的坐标变换方法；
其中，所述第二交通工具位置和所述第二交通工具取向根据所述绝对坐标系而定；
其中，所述第二视线方向根据所述交通工具坐标系而定；以及
其中，所述计算基于从所述交通工具坐标系变换为所述绝对坐标系的所述坐标变换方法。
16.根据权利要求15所述的方法，其进一步包括：
确定所述第一视线向量和所述第二视线向量的交集点，以及
基于所述交集点确定兴趣点。
17.一种用于检测交通工具司乘人员的注意力的系统，其包括：
第一模块，其基于第一交通工具位置、第一交通工具取向以及第一视线方向计算在三维空间中的第一视线向量，并且基于第二交通工具位置、第二交通工具取向以及第二视线方向计算在所述三维空间中的第二视线向量；以及
第二模块，其基于所述第一视线向量和所述第二视线向量确定所述司乘人员的所述注意力。
18.根据权利要求17所述的系统，其中，所述第二模块基于所述第一视线向量和所述第二视线向量的交集点确定所述司乘人员的兴趣点。
19.根据权利要求18所述的系统，其进一步包括：
第三模块，其基于所述兴趣点从数据存储区检索对象数据，并且基于所述对象数据定义兴趣对象，以及
其中，所述第二模块基于所述兴趣对象确定所述司乘人员的所述注意力。
20.根据权利要求18所述的系统，其进一步包括：
第四模块，其比较所述兴趣点与期望对象的位置，并且当所述兴趣点与所述期望对象的位置不同时，生成通知数据以将所述司乘人员的注意力引导至所述期望对象。
CN201510077504.8A 2014-02-14 2015-02-13 用于检测驾驶者对对象的注意力的方法和系统 Active CN104842898B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/181,328 US9189692B2 (en) 2014-02-14 2014-02-14 Methods and systems for detecting driver attention to objects
US14/181328 2014-02-14

Publications (2)

Publication Number Publication Date
CN104842898A CN104842898A (zh) 2015-08-19
CN104842898B true CN104842898B (zh) 2018-01-12

Family

ID=53759047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510077504.8A Active CN104842898B (zh) 2014-02-14 2015-02-13 用于检测驾驶者对对象的注意力的方法和系统

Country Status (3)

Country Link
US (1) US9189692B2 (zh)
CN (1) CN104842898B (zh)
DE (1) DE102015101358B4 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419655B2 (en) 2015-04-27 2019-09-17 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
DE102015222962A1 (de) * 2015-11-20 2017-05-24 Robert Bosch Gmbh Verfahren zur Aggregation von Fahrspurinformationen für digitale Kartendienste
FR3048542A1 (fr) * 2016-03-01 2017-09-08 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance personnalises d'un conducteur d'un vehicule automobile
US10317900B2 (en) 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
DE102016221983A1 (de) 2016-11-09 2018-05-24 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und System zum Informieren zumindest eines Insassen eines Fahrzeugs über ein Objekt oder einen Bereich außerhalb des Fahrzeugs
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
DE102017215901A1 (de) 2017-09-08 2019-03-14 Audi Ag Assistenzsystem für ein Fahrzeug
DE102018127756A1 (de) * 2017-11-15 2019-05-16 Omron Corporation Fahrerüberwachungsvorrichtung, verfahren und programm
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
DE102018128628A1 (de) 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen eines Feedbacks an einen Werbenden, Computerprogrammprodukt, Feedbackeinrichtung und Kraftfahrzeug
CN111325172B (zh) * 2020-02-28 2023-04-21 英华达（上海）科技有限公司 以视线追踪达成驾驶习惯养成的装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046451A1 (de) * 2009-11-06 2011-05-12 Robert Bosch Gmbh Verfahren und Gerät zur Erfassung einer Blickzuwendung auf einen Anordnungsbereich einer Infotainment-Einrichtung eines Fahrzeugs

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668675A (en) * 1995-01-18 1997-09-16 Fredricks; Ronald J. Opto-electronic aid for alignment of exterior vehicle mirrors to minimize blind spot effects
US6501536B1 (en) * 1995-01-18 2002-12-31 Ronald J. Fredricks Method and apparatus for determining the location of an occupant of a vehicle
US6346887B1 (en) 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
US6496117B2 (en) 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
AU2003224396A1 (en) 2002-04-30 2003-11-17 Telmap Ltd. Navigation system using corridor maps
US6989754B2 (en) 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
US7423540B2 (en) 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US8406457B2 (en) 2006-03-15 2013-03-26 Omron Corporation Monitoring device, monitoring method, control device, control method, and program
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
US7914187B2 (en) 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
JP2009031943A (ja) 2007-07-25 2009-02-12 Aisin Aw Co Ltd 施設特定装置、施設特定方法及びコンピュータプログラム
US7940962B2 (en) 2007-08-03 2011-05-10 Delphi Technologies, Inc. System and method of awareness detection
US8022831B1 (en) 2008-01-03 2011-09-20 Pamela Wood-Eyre Interactive fatigue management system and method
EP2303627A4 (en) 2008-07-18 2015-07-29 Optalert Pty Ltd WACHSAMKEITSSENSORVORRICHTUNG
WO2010035472A1 (ja) * 2008-09-26 2010-04-01 パナソニック株式会社 視線方向判定装置及び視線方向判定方法
US8290704B2 (en) 2008-10-31 2012-10-16 Honda Motor Co., Ltd. System and method for collecting and conveying point of interest information
RU2011119211A (ru) 2008-11-13 2012-12-20 Асер Рич Лимитед. Система и способ повышения безопасности транспортного средства путем улучшения знания ситуации водителем транспортного средства
US8583365B2 (en) 2008-12-01 2013-11-12 Electronics And Telecommunications Research Institute Route guide system and method using state information of POI
US9460601B2 (en) 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US20110111724A1 (en) 2009-11-10 2011-05-12 David Baptiste Method and apparatus for combating distracted driving
US9047256B2 (en) * 2009-12-30 2015-06-02 Iheartmedia Management Services, Inc. System and method for monitoring audience in response to signage
DE102010041961B4 (de) 2010-10-05 2022-08-04 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zur Beeinflussung der Blickrichtung des Fahrers
DE102010049087A1 (de) * 2010-10-21 2012-04-26 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Verfahren zum Beurteilen der Fahreraufmerksamkeit
WO2012069909A2 (en) 2010-11-24 2012-05-31 Toyota Jidosha Kabushiki Kaisha Information providing system and information providing method
CN103442925B (zh) 2011-03-25 2016-08-17 Tk控股公司 用于确定驾驶员警觉性的系统和方法
US20130093603A1 (en) * 2011-10-18 2013-04-18 Visteon Global Technologies, Inc. Vehicle system and method for assessing and communicating a condition of a driver
US8743193B2 (en) 2011-12-22 2014-06-03 Volkswagen Ag Method and device for detecting drowsiness
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
DE102012219280A1 (de) 2012-10-23 2014-04-24 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
US8952819B2 (en) 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
US9242647B2 (en) 2013-02-06 2016-01-26 GM Global Technology Operations LLC Display systems and methods for autonomous vehicles
US20140350942A1 (en) * 2013-05-23 2014-11-27 Delphi Technologies, Inc. Vehicle human machine interface with gaze direction and voice recognition
US20140375810A1 (en) 2013-06-21 2014-12-25 Digimarc Corporation Vehicular safety methods and arrangements
US20150009010A1 (en) 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
US9505412B2 (en) 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level
JP6429368B2 (ja) 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
US9881221B2 (en) 2013-10-24 2018-01-30 Conduent Business Services, Llc Method and system for estimating gaze direction of vehicle drivers
EP3316231B1 (en) 2014-01-06 2021-11-10 iOnRoad Technologies, Limited Alert generation correlating between head mounted imaging data and external device
US9298994B2 (en) 2014-01-09 2016-03-29 Harman International Industries, Inc. Detecting visual inattention based on eye convergence
US20150235538A1 (en) 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046451A1 (de) * 2009-11-06 2011-05-12 Robert Bosch Gmbh Verfahren und Gerät zur Erfassung einer Blickzuwendung auf einen Anordnungsbereich einer Infotainment-Einrichtung eines Fahrzeugs

Also Published As

Publication number Publication date
US20150235096A1 (en) 2015-08-20
US9189692B2 (en) 2015-11-17
DE102015101358A1 (de) 2015-08-20
DE102015101358B4 (de) 2023-12-07
CN104842898A (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
CN104842898B (zh) 用于检测驾驶者对对象的注意力的方法和系统
US11042751B2 (en) Augmented reality assisted pickup
CN109564100B (zh) 基于位置信息执行动作的系统与方法
US10049389B2 (en) System and method for interacting with digital signage
US9395195B2 (en) System, method and program for managing and displaying product information
US9691281B2 (en) Navigation system with image assisted navigation mechanism and method of operation thereof
US11915115B2 (en) Lane selection using machine learning
CN104851242A (zh) 用于处理来自车辆的注意力数据的方法和系统
US10460185B2 (en) Roadside image tracking system
CN108267142B (zh) 一种基于地址卡片的导航显示方法、系统及一种车机
CN112805762A (zh) 提高交通状况可视化的系统和方法
JP2020008436A (ja) 経路情報支援装置および経路情報支援システム
US11054269B2 (en) Providing navigation directions
US20230114415A1 (en) Method, apparatus, and system for providing digital street hailing
CN109727472A (zh) 基于移动终端的车辆路线引导设备、系统和方法
JP2019095388A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6181585B2 (ja) 移動制御装置、移動制御方法及び移動制御システム
CN113924461A (zh) 用于目标引导至目标人员的方法、目标人员的电子设备和接送者的电子设备以及机动车
US11804132B2 (en) Systems and methods for displaying bird's eye view of a roadway
JP2012027016A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant