CN104851242A - 用于处理来自车辆的注意力数据的方法和系统 - Google Patents

用于处理来自车辆的注意力数据的方法和系统 Download PDF

Info

Publication number
CN104851242A
CN104851242A CN201510077538.7A CN201510077538A CN104851242A CN 104851242 A CN104851242 A CN 104851242A CN 201510077538 A CN201510077538 A CN 201510077538A CN 104851242 A CN104851242 A CN 104851242A
Authority
CN
China
Prior art keywords
data
notice
vehicle
driver
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510077538.7A
Other languages
English (en)
Inventor
A.科尼斯伯格
E.特伦
G.戈兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN104851242A publication Critical patent/CN104851242A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Social Psychology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本申请涉及用于处理来自车辆的注意力数据的方法和系统。方法和系统用来处理注意力数据。在一个实施例中,方法包括:从第一车辆接收注意力数据,其中该注意力数据指示该车辆的占用者对空间中一点的注意力;在全球处理系统上,处理所接收的注意力数据和其它注意力数据以确定一个或多个统计数字;并且基于所述一个或多个统计数字产生报告数据。

Description

用于处理来自车辆的注意力数据的方法和系统
技术领域
该技术领域总体上涉及用于处理来自车辆的注意力数据的方法和系统,并且尤其涉及用于通过远程处理系统处理来自车辆的注意力数据的方法和系统。
背景技术
凝视探测系统通常包括一个或多个摄像机,这些摄像机对准人的眼睛并且追踪眼睛的位置和这个人的凝视方向。车辆系统使用凝视探测系统来探测驾驶员的凝视方向。驾驶员的凝视方向此后被用来探测驾驶员对他们前方道路的注意,或者驾驶员对车辆内部的特征的总体注意力。
例如,一些车辆系统使用驾驶员的凝视方向来确定驾驶员是否没有注意道路并且产生对驾驶员的警报信号。在另一示例中,一些车辆系统确定驾驶员正看着车辆的特定控制旋钮或开关的方向并且能基于这种确定来控制该特定的元件(例如,将其打开,等)。在上述示例中的每一个中,车辆系统都做出关于驾驶员正在看哪里的总体确定并且没有做出关于驾驶员正在看什么的确定(即,什么正在吸引驾驶员的注意力)。
因此,期望提供一种方法和系统,其用于探测驾驶员对三维空间中的一个点或物体的注意力。另外,期望提供一种方法和系统,其用于探测驾驶员对车辆外部的一个特定点或物体的注意力。另外,期望提供一种方法和系统,其用于利用从所探测的驾驶员对所述特定点或物体的注意力确定的信息。另外,本发明的其它令人满意的特征和特点将从下面的具体描述和所附的权利要求并结合附图以及前面的技术领域和背景技术而变得易于理解。
发明内容
方法和系统用来处理注意力数据。在一个实施例中,方法包括: 从第一车辆接收注意力数据,其中该注意力数据指示该车辆的占用者对空间中一点的注意力;在全球处理系统上,处理所接收的注意力数据和其它注意力数据以确定一个或多个统计数字;并且基于所述一个或多个统计数字产生报告数据。
在另一实施例中,系统包括从第一车辆接收该注意力数据的第一模块。该注意力数据指示该车辆的占用者对空间中一点的注意力。第二模块处理所接收的注意力数据和其它的注意力数据以确定一个或多个统计数字。第三模块基于该一个或多个统计数字产生报告数据。
本申请提供了如下方案:
方案1. 一种处理注意力数据的方法,包括:
从第一车辆接收该注意力数据,其中该注意力数据指示该车辆的占用者对空间中一点的注意力;
在全球处理系统上处理所接收的注意力数据和其它的注意力数据以确定一个或多个统计数字;以及
基于该一个或多个统计数字产生报告数据。
方案2. 如方案1所述的方法,其中所述注意力数据指示所述占用者在某一时间对位于所述空间中的所述点处的物体的注意力。
方案3.  如方案1所述的方法,其中所述注意力数据还指示该所述时间的前后关联的数据。
方案4. 如方案1所述的方法,其中所述注意力数据还指示车辆识别符和占用者识别符中的至少一个。
方案5. 如方案1所述的方法,其中所述其它的注意力数据是从所述第一车辆接收的。
方案6. 如方案1所述的方法,其中所述其它的注意力数据是从至少一个其它车辆接收的。
方案7. 如方案1所述的方法,其中所述统计数字包括对所述空间中所述点的注意频率。
方案8. 如方案1所述的方法,其中所述统计数字包括至少一个全球感兴趣点,该全球感兴趣点指示由所述第一车辆的数个占用者中的至少一个确认的且由所述第一占用者确认过数次的点。
方案9. 如方案1所述的方法,其中所述统计数字包括指示由数个车辆确认的点的至少一个全球感兴趣点。
方案10. 如方案1所述的方法,其中所述统计数字包括与特定的多个点相关联的前后关联的条件。
方案11. 如方案1所述的方法,其中所述统计数字包括所述占用者的溅洒。
方案12. 如方案11所述的方法,其中所述统计数字包括与所述溅洒相关联的前后关联的数据。
方案13. 如方案1所述的方法,其中所述统计数字包括在所述第一占用者的注意力和其它占用者的注意力之间的相似性。
方案14. 如方案1所述的方法,还包括将所述报告数据通信给所述车辆。
方案15.  如方案1所述的方法,还包括将所述报告数据通信给另一车辆。
方案16. 如方案1所述的方法,还包括将所述报告数据通信给商业实体。
方案17. 如方案1所述的方法,其中所述报告数据包括执行与给予所述点的注意力有关的动作的可能性。
方案18. 如方案1所述的方法,其中所述报告数据包括被确认为具有使占用者分神的可能性的点或物体。
方案19. 如方案1所述的方法,其中所述报告数据是按照图形格式。
方案20. 如方案1所述的方法,其中所述报告数据是按照文字格式和数据格式中的至少一个。
方案21. 一种处理注意力数据的系统,包括:
第一模块,其从第一车辆接收该注意力数据,其中该注意力数据指示该车辆的占用者对空间中一点的注意力;
第二模块,其处理所接收的注意力数据和其它的注意力数据以确定一个或多个统计数字;以及
第三模块,其基于该一个或多个统计数字产生报告数据。
附图说明
此后将结合下面的附图描述示例性实施例,其中相同的附图标记表示相同的元件;并且附图中:
图1是根据各种不同的实施例的包括驾驶员注意力探测系统的车辆的功能框图,该系统与注意力引向器系统和/或全球注意力处理系统通信;
图2是说明了根据各种不同的实施例的驾驶员注意力探测系统的功能模块的功能框图;
图3说明了凝视向量,该凝视向量被根据各种不同的实施例的驾驶员注意力探测系统用来确定驾驶员注意力;
图4是说明了根据各种不同的实施例的全球注意力处理系统的功能模块的功能框图;
图5是说明了可由根据各种不同的实施例的驾驶员注意力探测系统执行的驾驶员注意力探测方法的流程图;
图6是说明了可由根据各种不同的实施例的驾驶员注意力探测系统执行的驾驶员注意力引向方法的流程图;以及
图7是说明了可由根据各种不同的实施例的图1的全球注意力处理系统执行的全球注意力处理方法的流程图。
具体实施方式
下面的具体描述本质上仅仅是示例性的,并非用于限定应用和使用。而且,并不意在受在前面的技术领域、背景技术、发明内容或者后面的具体实施方式中出现的任何明示或暗示的理论的约束。应该理解,在全部附图中,对应的参考数字指示类似或对应的零件和特征。在本文中被使用时,术语模块指的是任何硬件、软件、固件、电子控制部件、处理逻辑、和/或处理器设备,单独地或以任何组合,包括但不限于: 专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的、或群组)和内存、组合逻辑电路;和/或提供所描述功能的其它合适的部件。
图1是根据各种不同的实施例的包括驾驶员注意力探测系统12的车辆10的功能框图,该系统与驾驶员注意力引向器系统14和/或全球(或全面)注意力处理系统16通信。如能理解的,车辆10可以是任何车辆,包括但不限于,汽车、飞机、航天器、水上交通工具、运动型多用途车、或者任何其它类型的车辆10。虽然这里示出的附图描述的示例具有某些元件布置方式,但是中间元件、设备、特征或部件可存在于实际的实施例中。还应该理解,图1仅是说明性的并且可能不是按比例绘制的。
如所示,示例性的驾驶员注意力探测系统12包括注意力确定模块18,其探测该车辆10的占用者(例如驾驶员和/或其它占用者)对三维空间中一点的注意力。出于示例性目的,在探测驾驶员的注意力的语境中讨论本公开。如将在下面的示例性实施例中讨论的,注意力确定模块18探测驾驶员对车辆10外部的一点(被称为感兴趣点)的注意力,并且在一些情况下,将该点与位于该点的特定物体(被称为感兴趣物体)相关联。例如,该物体可以是驾驶员正在注目的固定的或可移动的物体,例如但不限于,道路特征(例如,出口匝道、交通灯、道路标志、防护栏、另一车辆、行人等)、广告特征(例如,广告牌、标志、建筑物、在移动车辆上的标志等)、或者特定的地标(例如,自然地标或者人造地标)。
一旦已经探测到感兴趣点和/或感兴趣物体,注意力确定模块18就存储关于该驾驶员对该感兴趣点和/或感兴趣物体的注意力的信息以备将来使用。例如,注意力确定模块18存储驾驶员的注意力在该感兴趣点和/或感兴趣物体上的时间、该感兴趣点的位置、和描述该感兴趣物体(如果被确定的话)的任何信息。
在各种不同的实施例中,基于关于驾驶员的当前注意力的信息,注意力确定模块18确定是否要将驾驶员的注意力引向到三维空间上的不同的感兴趣点和/或感兴趣物体。例如,如果所确定的驾驶员的注意力指示该驾驶员正从特定的期望感兴趣点或感兴趣物体看别处,那么注意力确定模块18可提供通知数据给驾驶员注意力引向器系统14。该驾驶员注意力引向器系统14进而包括一个或多个引向器设备,这些设备选择性地基于该通知数据激活从而对该驾驶员的注意力进行引向。如所能理解的,所述引向器设备可包括,但不限于,光设备、显示屏、声音设备、触觉设备、电话(例如,与车辆10配对的个人电话或者与车辆10集成的电话)、抬头显示、或它们的任意组合。
在各种不同的实施例中,注意力确定模块18将关于该驾驶员的注意力的信息通信给全球注意力处理系统16。这种通信可通过,例如,无线通信系统20(例如,Wi-Fi系统、蜂窝网络系统、蓝牙系统等)或者车辆10的其它的通信系统(未示出)。全球注意力处理系统16处理来自车辆10的信息和/或来自多个车辆(未示出)的信息以确定全球的感兴趣点(即,由单个驾驶员、由数个占用者、或者由数个车辆看过多次的感兴趣点)、全球感兴趣物体(即,由单个驾驶员、由数个占用者、或由数个车辆看过多次的感兴趣物体)、和/或其它的统计数字。
在各种不同的实施例中,注意力确定模块18基于从车辆10的一个或多个系统的接收的信息探测驾驶员对感兴趣点和/或感兴趣物体的注意力。例如,注意力确定模块18从全球定位系统22、凝视探测系统24、惯性测量系统26、和物体地图数据存储28接收输入。如能理解的,在各种不同的实施例中,注意力确定模块18可在已经示出的和描述的系统的基础上或代替这些系统从其它的系统(未示出)接收输入。
全球定位系统22与卫星(未示出)通信以得到车辆10的当前位置(例如,纬度和经度坐标)。全球定位系统22提供该位置信息给注意力确定模块18。如能理解的,确定车辆10的位置的其它系统可作为替代方式被使用。这些系统可包括,但不限于,天线信号三角测量系统或其它系统。
凝视探测系统24包括一个或多个追踪设备(例如,摄像机或其它设备),这些设备追踪驾驶员(或其它占用者)的眼睛位置、眼睛运动、头部位置和/或头部运动,以及图像处理器,其处理来自所述追踪设备的数据以确定驾驶员(或其它占用者)的凝视方向。凝视探测系统24提供该凝视方向给注意力确定模块18。如能理解的,凝视探测系统24能提供驾驶员的、其它占用者的、和/或驾驶员和该其它占用者的凝视方向。出于示例性目的,在凝视探测系统24提供驾驶员的凝视方向的语境中讨论本公开。
惯性测量系统26包括一个或多个测量设备,这些设备确定车辆10的朝向。惯性测量系统26提供车辆10的朝向(例如,方位和海拔)给注意力确定模块18。如能理解的,确定车辆10的朝向的其它系统可作为替代方式被使用。这些系统可包括,但不限于,罗盘或其它系统。
物体地图数据存储28存储了格式例如是地图格式的关于三维空间中物体的位置信息和描述性信息(例如,名称、或物体类型)。该地图可被通过无线通信系统20提供给车辆10。该地图可从静止系统(例如,从中央处理中心)或可移动系统(例如,从另一车辆)被通信给车辆10。如能理解的,单独的地图可被提供给某些类型的物体,或者单个地图可被提供给任何数量的不同类型的物体。所述地图可基于车辆10的位置或其它标准被选择性地提供和/或存储到物体地图数据存储28。物体地图数据存储28提供所述地图给注意力确定模块18。
现在参照图2并且继续参照图1,功能框图说明了注意力确定模块18的各种不同的实施例。根据本公开的注意力确定模块18的各种不同的实施例可包括任意数量的子模块。如能理解的,图2中示出的子模块可被组合和/或进一步分割以类似地探测驾驶员对三维空间中的点和/或物体的注意力。在各种不同的实施例中,如图2中所示,注意力确定模块18包括凝视向量计算模块30、注意力确定模块32、注意力引向器模块34、凝视向量数据存储36、注意力数据数据存储38、和注意力数据通信模块39。
凝视向量计算模块30接收作为输入的车辆位置数据40(例如,从全球定位系统22)、凝视方向数据42(例如,从凝视探测系统24)、和车辆朝向数据44(例如,从惯性测量系统26)。所接收的数据40-44与特定时间(t)相关联。例如,车辆位置数据40可指示车辆10在特定时间(t)在绝对坐标(X、Y、Z)中的位置。车辆朝向数据44可指示该车辆在特定时间(t)在绝对坐标(X、Y、Z)中的指向向量。凝视方向数据42可指示在特定时间(t)驾驶员相对于车辆坐标(x、y、z)的凝视方向。
基于输入40-44,凝视向量计算模块30确定在特定时间(t)该驾驶员的在绝对坐标(X、Y、Z)中的凝视向量46并将该凝视向量46存储在凝视向量数据存储36中以供将来使用。例如,如在图3中所示,第一车辆10a的位置(L1)可在第一时间t1在绝对坐标中被提供为对应在道路上的第一位置A。该第一车辆10a的朝向或方位(B1)可被提供在绝对坐标中并可包括方位角和海拔。该驾驶员的凝视方向可被提供在车辆坐标中并且可包括角度α1。在车辆坐标(x1、y1、z1)中基于该角度α1确定凝视向量(G1)并且此后基于所述位置和方位(L1, B1, t1)使用坐标系变换将该凝视向量转换到绝对坐标中。
当该车辆10a从第一位置A向前移动到该道路上的第二位置B时,在绝对坐标中在第二时间t2提供该车辆10a的位置(L2)。该第一车辆10a的朝向或方位(B2)可被提供在绝对坐标中并可包括方位角和海拔。该驾驶员的凝视方向可被提供在车辆坐标中并且可包括角度α2。在车辆坐标(x2、y2、z2)中基于该角度α2确定第二凝视向量(G2)并且此后基于所述位置和方位(L2, B2, t2)使用坐标系变换将该凝视向量转换到绝对坐标中。
同样,如果第二车辆10b在该道路上在相反的车道内沿相反方向行进,那么该第二车辆10b的位置(L3)可在第一时间t3在绝对坐标内被提供为对应该道路上的第一位置C。该第二车辆10b的朝向或方位(B3)可被提供在绝对坐标中并可包括方位角和海拔。该驾驶员的凝视方向可被提供在车辆坐标中并且可包括角度α3。在车辆坐标(x3、y3、z3)中基于该角度α3确定凝视向量(G3)并且此后基于所述位置和方位(L3, B3, t3)使用坐标系变换将该凝视向量转换到绝对坐标中。
当该车辆10b从第一位置C向前移动到该道路上的第二位置D是,在第二时间t4提供该车辆10b在绝对坐标中的位置(L4)。该第二车辆10b的朝向或方位(B4)可被提供在绝对坐标中并可包括方位角和海拔。该驾驶员的凝视方向可被提供在车辆坐标中并且可包括角度α4。在车辆坐标(x4、y4、z4)中基于该角度α4确定该第二车辆10b的第二凝视向量(G4)并且此后基于所述位置和方位(L4, B4, t4)使用坐标系变换将该凝视向量转换到绝对坐标中。
凝视向量(G1和G2)被计算并被存储到第一车辆10a的凝视向量数据存储36中;并且凝视向量(G3和G4)被计算并被存储到第二车辆10b的凝视向量数据存储36中。在一些情况下,凝视向量(G3和G4)可被通信给第一车辆10a并且被存储在第一车辆10a的凝视向量数据存储36中。同样地,凝视向量(G1和G2)可被通信给第二车辆10b并且被存储在第二车辆10b的凝视向量数据存储36中。
再参照图2并继续参照图1,注意力确定模块32接收作为输入的之前存储在凝视向量数据存储36中的凝视向量48。凝视向量48可以是来自单个车辆(例如图2中的车辆10a)的凝视向量48或者是来自多个车辆(例如,图2中的车辆10a和10b)的凝视向量48。基于该凝视向量48,注意力确定模块32确定在特定时间49在绝对坐标系中的感兴趣点47。例如,注意力确定模块32评估在某个时间长度上的多个凝视向量48,并且如果在该时间长度内有阈值数量的凝视向量48相交,那么就确定对于该时间长度,感兴趣点位于凝视向量48的交点处或附近。注意力确定模块32此时就将感兴趣点47设置到在特定时间49的所述交点的坐标。
在各种不同的实施例中,如果感兴趣点47的确定性较低(例如,仅最低数量的凝视向量48相交,或者感兴趣点远离该车辆,等等),那么注意力确定模块32可依赖来自额外来源的数据来证实该感兴趣点47。例如,从全球注意力处理系统16接收的统计数据,或者来自车辆10的其它系统的数据可被用于证实该感兴趣点47。
如果确定了感兴趣点47,那么注意力确定模块32就选择性地从物体地图数据存储28检索物体数据50。例如,注意力确定模块32可评估物体地图数据存储28的用于被定为在感兴趣点47处的物体的地图。如果该地图指示有物体被定位在感兴趣点47处,那么注意力确定模块32就使用来自物体地图数据存储28的关于该物体的描述性信息来定义位于该特定感兴趣点处的感兴趣物体51。注意力确定模块32此后将感兴趣点47、时间49和感兴趣物体51作为注意力数据52存储在注意力数据数据存储38中以供将来使用。不过,如果该地图没有指示有物体被定位在该感兴趣点47处,那么注意力确定模块32可使用该感兴趣点47和从其它来源(例如,从车辆系统,例如车辆摄像机或其它系统,或者从远离该车辆的系统),如果可获得的话,接收的关于感兴趣点47的信息来更新该地图。
注意力数据通信模块39从注意力数据数据存储38检索注意力数据52并且准备该注意力数据52以通过无线通信系统20通信给全球注意力处理系统16。例如,注意力数据通信模块39将一定时间长度上的注意力数据52与占用者识别符57(例如,如果多个占用者可被追踪)、车辆识别符53(例如,VIN或者其它识别该车辆的数据和/或该车辆类型)、以及任选地,前后关联的数据55(例如,定义注意力数据被确定时的条件的数据,例如但不限于,天气条件、道路条件、车辆条件、等等)一起打包并将打包数据54通信给无线通信系统20以通信给全球注意力处理系统16。
注意力引向器模块34接收作为输入的车辆位置数据56(例如,从全球定位系统22)、和注意力数据52。基于这些输入52、56,注意力引向器模块34确定驾驶员的注意力是否被引向期望的物体。在各种不同的实施例中,该期望的物体可被定义在期望物体的地图中并被存储在地图数据存储38中。例如,基于车辆位置数据56,注意力引向器模块34选择性地从物体地图数据存储28的地图中检索物体数据58(即,被定义成在该车辆位置附近的期望物体的数据)。在各种不同的实施例中,该期望物体可由车辆10的系统确定。例如,该期望物体可从导航系统接收,或者从该车辆的其它系统(未示出的数据流)接收。
注意力引向器模块34此后将来自注意力数据52的感兴趣点47与来自物体数据58的期望物体的位置比较。如果感兴趣点47和期望物体的位置相对来说是一样的,那么注意力引向器模块34就确定驾驶员的注意力是朝向期望的物体并且不发出通知数据60。不过,如果感兴趣点47不同于期望物体的位置,那么注意力引向器模块34就确定驾驶员的注意力不是朝着期望的物体(相反,他可能朝着在地图上的另一物体或者根本没有朝着任何物体)并且注意力引向器模块34发出通知数据60到驾驶员注意力引向器系统14以对驾驶员的注意力进行引向。
现在参照图4并且继续参照图1,功能框图说明了图1的全球注意力处理系统16的各种不同的实施例。根据本公开的全球注意力处理系统16的各种不同的实施例可包括任意数量的子模块。如能理解的,图4中示出的子模块可被组合和/或进一步分割以类似地接收和处理图2的驾驶员注意力数据54。在各种不同的实施例中,全球注意力处理系统16包括数据存储模块62、全球注意力数据数据存储64、一个或多个数据处理模块66a-66n和输出产生模块68。
数据存储模块62接收作为输入的来自各种不同的车辆10a、10b等的驾驶员注意力数据54a-54n并选择性地将驾驶员注意力数据54a-54n存储在全球注意力数据数据存储64中。例如,该数据存储模块基于车辆数据70、时间数据72、感兴趣点数据74、感兴趣物体数据76、各种不同的前后关联的数据77、和/或占用者数据来选择性地对数据进行分类和存储。
数据处理模块66a-66n选择性地从驾驶员注意力数据数据存储64检索所存储的数据并且使用一个或多个数据处理方法来处理该数据以产生各种不同的统计数字。例如,第一数据处理模块66a处理该数据以确定全球感兴趣点78,即由特定驾驶员、由车辆的数个占用者、和/或由数个车辆确认过多次的感兴趣点。在另一示例中,第二数据处理模块66b处理该数据以确定全球感兴趣物体80,即,由特定驾驶员、由车辆的数个占用者、和/或由数个车辆确认过多次的感兴趣物体。在又一个示例中,第三数据处理模块66c处理该数据以获得特定的点或物体被确认为感兴趣点或感兴趣物体的频率82(即,该物体事实上在驾驶员经过时吸引驾驶员的注意力的频率)。在又一示例中,数据处理模块66d处理该数据以确认在该驾驶员注意力和其它驾驶员的注意力之间的相似性84(例如,使用协同过滤方法)。在另外的示例中,数据处理模块66e处理该数据以确认确定更容易被注意到的特定点或物体的前后关联的条件86(例如,天气、道路条件、交通、季节、等)。在另外的示例中,数据处理模块66f处理该数据以确认注意力溅洒88(即,该驾驶员改变其注意力焦点的频繁程度)和围绕注意力溅洒的前后关联的数据,例如一天中的时间、天气条件等。
输出产生模块68从数据处理模块66a-66n接收处理过的数据78-82。输出产生模块68基于所述处理过的数据产生一个或多个报告90。例如,输出产生模块68产生图形报告,例如包括全球感兴趣点78、或全球感兴趣物体80的识别符(例如,热点、或其它识别符)的地图。在另一示例中,输出产生模块68产生包括频率82和/或其它的统计数字84-88的文字和/或数据报告。
 在各种不同的实施例中,数据报告可被通信回给车辆10并且车辆10可使用来自该数据报告的数据(例如,可能性或权值)来确定未来的感兴趣点和/或感兴趣物体。在各种不同的实施例中,该统计数字可和其它数据(例如,从车辆或其它实体接收的其它数据)一起被进一步处理以产生对执行与给予特定物体的注意力相关的其它动作的可能性的报告。这些动作可包括,但不限于,购买在广告中看到的物品、向着特定目的地驾驶、其它事件。在各种不同的实施例中,该统计数字可和其它数据一起被处理以产生对具有使驾驶员分神以使驾驶员不能集中注意力的可能性的道路条件的报告。这些报告可被通信给商业实体,例如道路机构,和/或可被通信回车辆10以增强在该道路条件中的车辆控制。
现在参照图 5-6并继续参照图 1-4,流程图说明了注意力确定方法和注意力引向器方法,这些方法可被根据不同实施例的注意力确定模块18的子模块执行。如根据本公开能理解的,所述方法中的操作顺序不限于在图5-6中所示的顺序执行, 而是可根据本公开并且在能应用的时候以一个或多个变化的顺序被执行。如能进一步意识到的,在不改变该方法精神的情况下,该方法的一个或多个步骤可被添加或去除。
尤其参照图5,流程图说明了用于根据示例性实施例确定驾驶员注意力的方法100的步骤的示例性顺序。该方法可开始于105。在110接收指示在绝对坐标中的车辆位置的车辆位置数据40。在120接收指示在绝对坐标中的车辆朝向的车辆朝向数据44。在130接收指示在车辆坐标中的凝视方向的凝视方向数据42。基于该车辆位置、该车辆朝向、和凝视方向,在140在绝对坐标(例如,如上讨论的,或根据其它方法)中计算凝视向量46并将其存储。
如果在150,没有满足进行处理该凝视向量的使能条件(例如,在某个时间长度上某个数量的凝视向量还没有被存储,或者其它的使能条件),方法就在230结束。不过,如果在150满足了进行处理该凝视向量的使能条件,那么就在160-220处理凝视向量48。
例如,在160从凝视向量数据存储36检索与时间长度相关联的凝视向量48。在170确定在该时间长度上是否有x或更多的凝视向量相交。如果在170在该时间长度上x或更多的凝视向量没有相交,那么该方法就在230结束。不过,如果在170在该时间长度上有x或更多的凝视向量相交,那么就在180将感兴趣点设置到交点。在190从物体地图数据存储28检索该感兴趣点的地图。如果在200从该地图确定了感兴趣物体,那么在210就产生并存储注意力数据52,该注意力数据52包括占用者识别符(如果是多个占用者)、车辆识别数据、感兴趣点数据、时间数据、和感兴趣物体数据。此后,该方法在230结束。不过,如果在200没有从该地图确定感兴趣物体,那么在220产生和存储注意力数据52,该注意力数据52包括占用者识别符(如果是多个占用者)、车辆识别数据、感兴趣点数据、和时间数据。此后,该方法在230结束。
尤其参照图6,流程图说明了用于根据示例性实施例对驾驶员注意力进行引向的方法300的步骤的示例性顺序。如能理解的,该方法可被使用在任意数量的场景中以对驾驶员的注意力进行引向。例如,该方法可被用在导航系统中以将驾驶员的注意力引向到道路标志、下一个转弯、或出口匝道。在另一个示例中,该方法可由广告系统使用以将驾驶员的注意力引向到特定的即将到来的广告牌广告。
该方法可开始于305。在310接收指示车辆10的当前位置的车辆位置数据56。在320从物体地图数据存储28检索物体数据58。在330确定是否有期望的感兴趣物体被定位在车辆10的所述位置处或附近。该感兴趣物体的合意性可取决于执行该方法的系统的类型。例如,如果是导航系统执行该方法,那么该期望的感兴趣物体可以是导航路线中的下一个出口。
在330如果所述期望的感兴趣物体没有被定位在车辆10的所述位置处或附近,那么该方法可在380结束。不过,在330如果所述期望的感兴趣物体被定位在车辆10的所述位置处或附近,那么在340-370选择性地产生通知数据60。例如,在340接收注意力数据52,并且在350确定注意力数据52是否指示在那时该驾驶员的感兴趣点是在所述期望的感兴趣物体的位置处或附近。如果在350该感兴趣点是在所述期望的感兴趣物体的位置处或附近,那么在380不产生引向通知数据60并且该方法可结束(例如,确定驾驶员的注意力已经在所述期望的感兴趣物体上)。不过,如果,在350所述感兴趣点不是在所述期望的感兴趣物体的位置处或附近,那么在360产生引向通知数据60并且在370通过驾驶员注意力引向器系统14通知驾驶员。此后,方法可在380结束。
现在参照图7并继续参照图1-4, 流程图说明了用于处理注意力数据54a-54n以及可由根据示例性实施例的全球注意力处理系统16执行的方法400的步骤的示例性顺序。该方法可开始于405。在410接收特定车辆10a的注意力数据54a。在420基于车辆识别符70、感兴趣点74、时间72和/或感兴趣物体76将该注意力数据54a选择性地存储在全球注意力数据数据存储64中。
在430确定是否满足是进行处理全球注意力数据数据存储64的注意力数据的使能条件。在430如果使能条件没有被满足,那么方法可在470结束。不过,如果在430满足了使能条件,那么在440使用一个或多个处理方法(例如,频率处理、全球感兴趣物体处理、全球感兴趣点处理、等)处理所存储的注意力数据,并且在450产生图形格式、文字格式、和/或数据格式的结果报告。此后在460根据所执行的处理的类型将该报告通信给车辆、或者其它实体以供使用。此后,该方法可在470结束。
 应意识到,所公开的方法和系统可与附图中描绘的且本文中描述的那些不同。例如,如前面提到的,在某些实施例中,图1的车辆10、和图2和4的模块、 和/或它们的部分和/或部件可变化,和/或可整体地或部分地被设置在数个不同的车辆单元、设备、和/或系统的任意一个或多个中。另外,将意识到,方法100、300和400的某些步骤可不同于图5-7中描绘的和/或上面参照图5-7所描述的那些。类似地应意识到,方法100、300和400的某些步骤可同时或以与图5-7所描绘的和/或上面参照图5-7所描述不同的顺序发生。
虽然已经在前面的具体描述中给出了至少一个示例性实施例,但应当意识到存在大量的变型。还应意识到,一个或多个示例性实施例仅为示例,并且决不是用来限制本公开的范围、应用性、或构造。更确切地说,前面的具体描述将给本领域技术人员提供用于实施一个或多个示例性实施例的方便的路线图。应该理解的是,可在元件的功能和布置方式方面进行各种改变,而不脱离在所附权利要求及其法律等同方式中公开的本公开的范围。

Claims (10)

1.一种处理注意力数据的方法,包括:
从第一车辆接收该注意力数据,其中该注意力数据指示该车辆的占用者对空间中一点的注意力;
在全球处理系统上处理所接收的注意力数据和其它的注意力数据以确定一个或多个统计数字;以及
基于该一个或多个统计数字产生报告数据。
2.如权利要求1所述的方法,其中所述注意力数据指示所述占用者在某一时间对位于所述空间中的所述点处的物体的注意力。
3. 如权利要求1所述的方法,其中所述注意力数据还指示该所述时间的前后关联的数据。
4.如权利要求1所述的方法,其中所述注意力数据还指示车辆识别符和占用者识别符中的至少一个。
5.如权利要求1所述的方法,其中所述其它的注意力数据是从所述第一车辆接收的。
6.如权利要求1所述的方法,其中所述其它的注意力数据是从至少一个其它车辆接收的。
7.如权利要求1所述的方法,其中所述统计数字包括对所述空间中所述点的注意频率。
8.如权利要求1所述的方法,其中所述统计数字包括至少一个全球感兴趣点,该全球感兴趣点指示由所述第一车辆的数个占用者中的至少一个确认的且由所述第一占用者确认过数次的点。
9.如权利要求1所述的方法,其中所述统计数字包括指示由数个车辆确认的点的至少一个全球感兴趣点。
10.一种处理注意力数据的系统,包括:
第一模块,其从第一车辆接收该注意力数据,其中该注意力数据指示该车辆的占用者对空间中一点的注意力;
第二模块,其处理所接收的注意力数据和其它的注意力数据以确定一个或多个统计数字;以及
第三模块,其基于该一个或多个统计数字产生报告数据。
CN201510077538.7A 2014-02-14 2015-02-13 用于处理来自车辆的注意力数据的方法和系统 Pending CN104851242A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/181316 2014-02-14
US14/181,316 US20150235538A1 (en) 2014-02-14 2014-02-14 Methods and systems for processing attention data from a vehicle

Publications (1)

Publication Number Publication Date
CN104851242A true CN104851242A (zh) 2015-08-19

Family

ID=53759043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510077538.7A Pending CN104851242A (zh) 2014-02-14 2015-02-13 用于处理来自车辆的注意力数据的方法和系统

Country Status (3)

Country Link
US (1) US20150235538A1 (zh)
CN (1) CN104851242A (zh)
DE (1) DE102015101239A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9702098B1 (en) * 2014-01-13 2017-07-11 Evolutionary Markings, Inc. Pavement marker modules
US9189692B2 (en) 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
US10970747B2 (en) 2015-09-04 2021-04-06 Robert Bosch Gmbh Access and control for driving of autonomous vehicle
US9718404B2 (en) * 2015-10-01 2017-08-01 Ford Global Technologies, LLCS Parking obstruction locator and height estimator
DE102015221439B3 (de) * 2015-11-02 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Auswahl und Übertragung von Sensordaten von einem ersten zu einem zweiten Kraftfahrzeug
DE102016221983A1 (de) 2016-11-09 2018-05-24 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und System zum Informieren zumindest eines Insassen eines Fahrzeugs über ein Objekt oder einen Bereich außerhalb des Fahrzeugs
GB2577270B (en) * 2018-09-19 2021-04-07 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
DE102020113712A1 (de) 2020-05-20 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bestimmen eines Interessensortes eines Fahrzeuginsassen
CN113837048B (zh) * 2021-09-17 2023-08-01 南京信息工程大学 基于少样本注意力的车辆重识别方法
DE102022127856A1 (de) 2022-10-21 2024-05-02 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur zielgerichteten Warnung eines Fahrers eines entgegenkommenden Kraftfahrzeugs

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1705454A (zh) * 2002-10-15 2005-12-07 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
US7400233B2 (en) * 2005-05-30 2008-07-15 Honda Motor Co., Ltd. Travel safety apparatus for vehicle
US20090016073A1 (en) * 2007-07-12 2009-01-15 Higgins-Luthman Michael J Automatic Lighting System with Adaptive Alignment Function
JP2009031943A (ja) * 2007-07-25 2009-02-12 Aisin Aw Co Ltd 施設特定装置、施設特定方法及びコンピュータプログラム
WO2012069909A2 (en) * 2010-11-24 2012-05-31 Toyota Jidosha Kabushiki Kaisha Information providing system and information providing method
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
CN102982753A (zh) * 2011-08-30 2013-03-20 通用电气公司 人物跟踪和互动广告
US20130083197A1 (en) * 2010-05-25 2013-04-04 Fujitsu Limited Storage managing method and storage management device
WO2013173148A2 (en) * 2012-05-18 2013-11-21 Microsoft Corporation Interaction and management of devices using gaze detection
US20140026156A1 (en) * 2012-07-18 2014-01-23 David Deephanphongs Determining User Interest Through Detected Physical Indicia

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3247622B2 (ja) * 1996-11-07 2002-01-21 本田技研工業株式会社 車両制御装置
US6154559A (en) * 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
JP4277081B2 (ja) * 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP5582008B2 (ja) * 2010-12-08 2014-09-03 トヨタ自動車株式会社 車両用情報伝達装置
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
US9354073B2 (en) * 2013-12-09 2016-05-31 Harman International Industries, Inc. Eye gaze enabled navigation system
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1705454A (zh) * 2002-10-15 2005-12-07 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
US7400233B2 (en) * 2005-05-30 2008-07-15 Honda Motor Co., Ltd. Travel safety apparatus for vehicle
US20090016073A1 (en) * 2007-07-12 2009-01-15 Higgins-Luthman Michael J Automatic Lighting System with Adaptive Alignment Function
JP2009031943A (ja) * 2007-07-25 2009-02-12 Aisin Aw Co Ltd 施設特定装置、施設特定方法及びコンピュータプログラム
US20130083197A1 (en) * 2010-05-25 2013-04-04 Fujitsu Limited Storage managing method and storage management device
WO2012069909A2 (en) * 2010-11-24 2012-05-31 Toyota Jidosha Kabushiki Kaisha Information providing system and information providing method
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
CN102982753A (zh) * 2011-08-30 2013-03-20 通用电气公司 人物跟踪和互动广告
WO2013173148A2 (en) * 2012-05-18 2013-11-21 Microsoft Corporation Interaction and management of devices using gaze detection
US20140026156A1 (en) * 2012-07-18 2014-01-23 David Deephanphongs Determining User Interest Through Detected Physical Indicia

Also Published As

Publication number Publication date
DE102015101239A1 (de) 2015-08-20
US20150235538A1 (en) 2015-08-20
DE102015101239A8 (de) 2015-10-29

Similar Documents

Publication Publication Date Title
CN104851242A (zh) 用于处理来自车辆的注意力数据的方法和系统
US9189692B2 (en) Methods and systems for detecting driver attention to objects
CN107402017B (zh) 使用道路车道线质量的路线生成
CN102889892B (zh) 实景导航的方法及导航终端
EP3299921B1 (en) Location specific assistance for an autonomous vehicle control system
CN107346137B (zh) 车辆的基于网络的存储器和用于优化车辆路线规划的基础设施数据
EP3227638B1 (en) Method and apparatus for providing point of interest information
US9933268B2 (en) Method and system for improving accuracy of digital map data utilized by a vehicle
US10401188B2 (en) Method and apparatus for providing point of interest information
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
CN101720481B (zh) 用于在导航设备中显示十字路口放大图像的方法
CN107298021A (zh) 信息提示控制装置、自动驾驶车及其驾驶辅助系统
US11915115B2 (en) Lane selection using machine learning
WO2011119358A1 (en) Navigation system with image assisted navigation mechanism and method of operation thereof
JP2011503639A (ja) 地図の更新において使用される、実世界の変化を検出するために複数の車両からのプローブ・データを使用する方法及びシステム
KR102565573B1 (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
CN103969831A (zh) 车辆抬头显示装置
US11397090B2 (en) Method and system for generating adaptive route guidance information
US20130024109A1 (en) Travel guidance system, travel guidance apparatus, travel guidance method, and computer program
CN108291814A (zh) 用于在环境中点精确地定位机动车的方法、设备、地图管理装置和系统
CA2609681A1 (en) Method for determining traffic information, and a device arranged to perform the method
CN113052321A (zh) 从短期意图和长期结果生成轨迹标记
JP2024020616A (ja) ナビゲーション中に難しい操縦についての追加の命令を提供すること
KR100934992B1 (ko) 다인승 전용노선을 이용한 차량 단말기의 경로 탐색 방법
JP2018138907A (ja) 車載装置、経路案内方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150819

WD01 Invention patent application deemed withdrawn after publication