CN105667421B - 包括眼跟踪装置的供车辆使用的系统和方法 - Google Patents

包括眼跟踪装置的供车辆使用的系统和方法 Download PDF

Info

Publication number
CN105667421B
CN105667421B CN201511035860.XA CN201511035860A CN105667421B CN 105667421 B CN105667421 B CN 105667421B CN 201511035860 A CN201511035860 A CN 201511035860A CN 105667421 B CN105667421 B CN 105667421B
Authority
CN
China
Prior art keywords
designator
gaze
display
vehicular
vehicle
Prior art date
Application number
CN201511035860.XA
Other languages
English (en)
Other versions
CN105667421A (zh
Inventor
O·尖霍尼
T·科伦
Original Assignee
通用汽车环球科技运作有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US14/514,791 priority Critical
Priority to US14/514,791 priority patent/US9530065B2/en
Application filed by 通用汽车环球科技运作有限责任公司 filed Critical 通用汽车环球科技运作有限责任公司
Publication of CN105667421A publication Critical patent/CN105667421A/zh
Application granted granted Critical
Publication of CN105667421B publication Critical patent/CN105667421B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00832Recognising scenes inside a vehicle, e.g. related to occupancy, driver state, inner lighting conditions
    • G06K9/00845Recognising the driver's state or behaviour, e.g. attention, drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00Dashboards
    • B60K37/02Arrangement of instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • G06K9/00604Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • G06K9/0061Preprocessing; Feature extraction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/10Input devices or features thereof
    • B60K2370/12Input devices or input features
    • B60K2370/146Input by gesture
    • B60K2370/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/15Output devices or features thereof
    • B60K2370/155Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/18Information management
    • B60K2370/186Displaying Information according to relevancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/70Arrangements of instruments in the vehicle
    • B60K2370/73Arrangements of instruments in the vehicle with special adaptation to the user or to the vehicle

Abstract

本发明涉及包括眼跟踪装置的供车辆使用的系统和方法。所述系统和方法使用来自所述眼跟踪装置的输入。所述系统和方法被构造成基于来自所述眼跟踪装置的输入与驾驶员通信。例如,所述系统和方法被构造成基于来自所述眼跟踪装置的输入在显示器上产生指示符。

Description

包括眼跟踪装置的供车辆使用的系统和方法

技术领域

[0001] 本发明一般涉及包括眼跟踪装置的供车辆使用的系统和方法。

背景技术

[0002] 传统车载用户界面和仪表组包括具有显示在其上的多个可视化输出的复杂显示 器。这些显示器需要相对大量的驾驶员注意,以及在一些情况下,要求使用手与用户界面相 互作用。这些显示器会分散驾驶员注意力而导致较不安全驾驶状态。

发明内容

[0003] 本技术涉及一种包括眼跟踪装置的系统和方法。

[0004] 根据示例性实施例,一种方法包括在车辆的显示器上显示指示符。所述指示符包 括指示符区域并且与车辆系统相关联。所述方法进一步包括将传感器数据与阈值进行比 较。所述传感器数据与所述车辆系统相关联。所述阈值代表了在所述车辆系统的第一状态 或操作(例如正常状态)与所述车辆系统的第二状态或操作(例如临界状态)之间的分开。所 述方法进一步包括将注视位置数据与所述指示符区域进行比较,并且如果所述传感器数据 是在所述阈值的正常状态侧上、以及在所述指示符区域中发现所述注视位置数据,那么所 述方法将降低所述指示符的突显度。

[0005] 根据示例性实施例,一种方法包括在车辆的显示器上显示指示符。所述指示符包 括指示符区域并且与车辆系统相关联。所述方法进一步包括将传感器数据与阈值进行比 较。所述传感器数据与所述车辆系统相关联。所述阈值代表了在所述车辆系统的正常状态 与所述车辆系统的临界状态之间的分开。所述方法进一步包括将注视位置数据与所述指示 符区域进行比较;并且如果传感器数据在所述阈值的临界状态侧上、并且未在所述指示符 区域中发现注视位置数据时,那么所述方法将增加所述指示符的突显度。

[0006] 参照实施例,一种方法包括接收待通信给驾驶员的信息;并且在在显示器上显示 通知指示符。所述通知指示符包括指示符区域。所述方法进一步包括将注视位置数据与所 述指示符区域进行比较;并且在所述指示符区域中发现所述注视位置数据,通信所述信息。

[0007] 参照示例性实施例,一种方法包括在车辆显示器上显示第一指示符。所述第一指 示符包括第一指示符区域。所述方法进一步包括计算与所述第一指示符相关联的第一注视 频率。所述第一注视频率在第一时间段内被计算并且基于下述之一:注视位置移动进入所 述第一指示符区域中的次数;以及注视位置在所述第一指示符区域中停留的时间。所述方 法进一步包括基于所述第一注视频率确定所述第一指示符的突显度。

[0008] 根据示例性实施例,所述方法进一步包括在车辆显示器上显示第二指示符。所述 第二指示符包括第二指示符区域。所述方法进一步包括计算与所述第二指示符相关的第二 注视频率。所述第二注视频率在第二时间段内被计算并且基于下述之一:注视位置移动进 入所述第二指示符区域中的次数;以及注视位置在所述第二指示符区域中停留的时间。所 述方法进一步包括基于所述第二注视频率确定所述第二指示符的突显度。在显示器上的位 置基于突显度被排序。确定所述突显度包括基于所述第一注视频率和所述第二汪视频率的 顺序确定所述第一指示符和所述第二指示符的位置。

[0009] 参照示例性实施例,一种方法包括在车辆的显示器上显示第一指示符和第二指示 符的每者。所述第一指示符包括第一指示符区域并且所述第二指示符包括第二指示符区 域。第一距尚将所述第一指示符和所述第二指示符间隔开。所述方法进一步包括分析在显 示器上的注视位置数据;以及如果在所述第一指示符和所述第二指示符之间的注视模式被 识别,那么减小所述第一距离。所述注视模式基于在所述第一指示符和第二指示符之间的 转换次数。

[0010] 参照示例性实施例,一种方法包括存取默认参数值组;并且将所述默认参数值组 与来自传感器的输出数据进行比较。所述传感器与车辆的车辆系统相关联。所述方法进一 步包括下述过程:如果所述输出数据与默认参数值组中的一个相匹配,那么通信与所述默 认参数值组中的一个相关联的默认信息;如果在与所述车辆系统相关联的位置发现注视位 置数据,那么记录与所述车辆系统相关的注视;在所述注视被记录的时刻,确定辅助参数; 基于所述辅助参数产生辅助信息;以及通信所述辅助信息。

[0011] 根据示例性实施例,一种方法包括如果在与车辆系统相关的位置处发现注视位置 数据,那么记录与所述车辆系统相关联的注视;以及在所述注视被记录的时刻,通信与所述 车辆系统相关联的信息。

[0012] 所述方法进一步包括基于传感器数据确定背景;以及基于所述背景确定与所述车 辆系统相关联的所述信息。

[0013] 本发明进一步地包括以下方案。

[0014] 方案1,一种方法,其包括:

[0015] 通过包括处理器的装置促进在车辆的显示器上显示指示符,所述指示符包括指示 符区域,其中所述指示符与车辆系统相关联;

[0016] 通过所述装置将传感器数据与阈值进行比较,其中所述传感器数据与车辆系统相 关联,其中所述阈值代表在所述车辆系统的第一状态和所述车辆系统的第二状态之间的分 开.

[0017] 通过所述装置将注视位置数据与所述指示符区域进行比较;以及

[0018] 通过所述装置降低所述指示符的突显度,如果:

[0019] 所述传感器数据在所述阈值的正常状态侧上;并且

[0020] 在所述指示符区域中发现了所述注视位置数据。

[0021 ]方案2,如方案1中所述的方法,其中所述指不符包括图像。

[0022]方案如方案1中所述的方法,其中所述第一状态是正常状态并且所述第二状态 是临界状态。

[0023] 方案4,如方案1中所述的方法,其中所述传感器数据代表所述车辆系统的状态。

[0024] 方1如方案1中所述的方法,其中降低所述突显度包括减小所述指示符的尺寸。

[0025] 方案如方案1中所述的方法,其中降低所述突显度包括减小所述指示符的亮度。 [0026]方案/如方案1中所述的方法,其中降低所述突显度包括改变所述指示符的类型。 [0027]方如方案1中所述的方法,其中降低所述突显度包括改变所述指示符在所述 显示器上的位置。

[0028] 方案9, 一种方法,其包括:

[0029] 在车辆的显示器上显示指示符,所述指示符包括指示符区域,其中所述指示符与 车辆系统相关联;

[0030] 将传感器数据与阈值进行比较,其中所述传感器数据与所述车辆系统相关联,其 中所述阈值代表在所述车辆系统的第一状态和所述车辆系统的第二状态之间分开;

[0031] 将注视位置数据与所述指示符区域进行比较;以及

[0032] 增加所述指示符的突显度如果:

[0033] 传感器数据在所述阈值的临界状态侧上;并且

[0034] 未在所述指示符区域中发现注视位置数据。

[0035] 方案10,如方案9中所述的方法,其中所述指示符包括图像。

[0036] 方案11,如方案9中所述的方法,其中所述第一状态是正常状态并且所述第二状态 是临界状态。

[0037] 方案12,如方案9中所述的方法,其中所述传感器数据代表所述车辆系统的状态。

[0038] 方案13,如方案9中所述的方法,其中所述增加所述突显度包括增大所述指示符的 尺寸。

[0039] 方案14,如方案9中所述的方法,其中所述增加所述突显度包括增大所述指示符的 亮度。

[0040] 方案15,如方案9中所述的方法,其中所述增加所述突显度包括改变所述指示符的 类型。

[0041] 方案16,如方案9中所述的方法,其中所述增加所述突显度包括改变所述指示符在 所述显示器上的位置。

[0042] 方案17, 一种方法,其包括:

[0043] 在车辆显示器上显示指示符,所述指示符包括指示符区域;

[0044] 计算与第一指示符相关联的注视频率,其中所述注视频率在时间段内被计算并且 基于至少下述之一:

[0045]注视位置移动进入所述指示符区域中的次数;以及

[0046]注视位置在所述指不符区域中停留的时间;以及

[0047]基于所述注视频率确定突显度,在该突显度处设置所述指示符。

[0048] 方案18,如方案17中所述的方法,其中:

[0049]所述注视频率是第一注视频率以及所述时间段是第一时间段;以及

[0050] 所述方法进一步包括:

[0051] 在第二时间段内计算第二注视频率,所述第二时间段比所述第一时间段长;

[0052] 如果所述第一注视频率高于所述第二注视频率,那么增加所述指示符的所述突显 度;以及

[0053] 如果所述第一注视频率低于所述第二注视频率时,降低所述指示符的所述突显 度。

[0054] 方案19,如方案17中所述的方法,其中,突显度基于在显示器上的尺寸、亮度、类型 和位置中的至少一个。

[0055] 方案20,如所述方案17中所述的方法,其中:

[0056] 所述指示符区域是第一指示符区域,所述注视频率是第一注视频率以及所述时间 段是第一时间段;以及

[0057] 所述方法进一步包括:

[0058] 在车辆显示器上显示第二指示符,所述第二指示符包括第二指示符区域;

[0059]计算与所述第二指示符相关联的第二注视频率,其中所述第二注视频率在第二时 间段内被计算并且基于至少下述之一:

[0060] 注视位置移动进入所述第二指示符区域中的次数;以及

[0061] 注视位置在所述第二指示符区域中停留的时间;以及

[0062] 基于所述第二注视频率确定所述第二指示符的突显度;

[0063] 其中,在所述显示器上的位置基于突显度被排序并且确定所述突显度包括基于所 述第一注视频率和所述第二注视频率的顺序确定所述第一指示符和所述第二指示符的所 述位置。

附图说明

[0064] 图1示出了根据本公开的实施例的车辆的局部视图。

[0065] 图2示出了图1的车辆的显示器的示意图。

[0066] 图3示出了图1所示的车辆的计算装置。

[0067] 图4示出了根据图3的所述计算装置的简化处理(declutter)应用的简化处理方 法。

[0068] 图5-7示意性地示出了图4的所述简化处理方法。

[0069] 图8示出了根据图3的所述计算装置的系统通知应用的系统通知方法。

[0070] 图9-11示意性地示出了图8的所述系统通知方法。

[0071] 图12示出了根据图3的所述计算装置的延迟通知应用的延迟通知方法。

[0072] 图13-15示意性地示出了图12的所述延迟通知方法。

[0073] 图16示出了根据图3的所述计算装置的驾驶员请求应用的驾驶员请求方法。

[0074] 图17-20示意性地示出了图16的所述驾驶员请求方法。

[0075] 图21示出了根据图3的所述计算装置的布置应用的布置方法。

[0076] 图22-24示意性地示出了图21的所述布置方法。

[0077] 图25示出了根据图3的所述计算装置的关系应用的关系方法。

[0078] 图26-28示意性地示出了图25的所述关系方法。

[0079] 图29示出了根据图3的所述计算装置的信息调整应用的信息调整方法。

[0080] 图30-35示意性地示出了图29的所述信息调整方法。

[0081] 图36示出了根据图3的所述计算装置的车辆系统信息应用的车辆系统信息方法。

[0082] 图37示意性地示出了图36的所述车辆系统信息方法。

[0083] 图38示出了根据图3的所述计算装置的驾驶员背景信息应用的驾驶员背景信息方 法。

[0084] 图39示意性地示出了图38的所述驾驶员背景信息方法。

[0085] 所述附图不必成比例并且一些特征可能被放大或缩小以例如示出特定部件的细 节。在一些情况下,众所周知的部件、系统、材料或方法没有详细描述以免影响本公开的清 楚描述。因此,在本文所公开的具体结构和功能细节不应被解释为限制性的,而仅仅是作为 权利要求书的基础以及作为用于教导本领域技术人员可以多方面地利用本公开的代表性 基础。

具体实施方式

[0086]根据需要,本公开的详细的实施例在本文公开。所公开的实施例仅仅是示例,其能 够以各种及替代的形式以及其结合而具体实施。如用于本文的,例如“示例性的”和类似词 语,广泛地涉及作为说明、样品、模型或模式的实施例。

[0087]尽管本文主要描述的本技术与汽车相关,但本技术不局限于汽车。这些构思可以 用于各种应用,例如与航空器、海用船舶、或其它车辆相关的各种应用。

[0088]根据图1示出的实施例,车辆10包括车辆系统20,用于车辆系统20的控制部22,传 感器3〇,计算装置40和显示器6〇。某些传感器3〇构造成输出反映车辆系统20的参数测量的 数据62。某些传感器30构造成输出反映车辆10的环境50的测量的数据64。

[0089]车辆系统20还构造成输出数据66或在其它方面提供另一个信息源。例如,输出数 据66由所述车辆系统20产生。产生输出数据66的车辆系统20包括电子控制单元。

[0090]同样,来自车辆系统20的信息(例如,信息68)可在控制器局域网(CAN)总线上利 用。例如,无论自动巡航控制(ACC)是否使用,CAN总线包括无线电设备是否开启以及何种音 量的信息。CAN总线还包括所有车辆系统20利用的指示驾驶员身份和他们的偏好的个性化 信息。

[0091]计算装置40构造成接收输出数据62,64,66。所述计算装置40构造成存储作为信息 68的输出数据62,64,66或者产生基于输出数据62,64,66的所述信息68。

[0092] 计算装置40还构造成通过例如显示器60、音频(例如,扬声器/麦克风)系统88、或 者触觉系统(例如,位于方向盘82中)的车辆-用户界面与驾驶员进行通信。例如,为可视地 将信息68通信,计算装置40被构造成产生指示符70并将其定位在显示器60上,或者产生文 本并将其定位在显示器60上。为可听到地将信息68通信,计算装置40被构造成产生基于信 息68的音频信号,并通过音频系统88播放该音频文件。

[0093] 显示器6〇是视频输出。例如,显示器60可以是二维或三维输出。二维输出包括在屏 幕上的电子输出或到表面上的投影。三维输出包括全息投影。

[0094]为了教导的目的,具有显示器60的装置在以下被详细描述为包括电子屏幕,所述 电子屏幕显示数字输出。例如,指示符70是通过计算装置40在显示器60上定位的数字图像。 [0095] 参照图2,显示器60包括在位置72处的显示区域74。在此,每个指示符70都与显示 器60的显示区域74中的一个相关联。每个指示符70都包括指示符区域76。例如,指示符区域 76小于或等于相关联显示区域74并且其如下面进一步详细描述的那样被缩放(scaled)。替 代地描述为,所述指示符是目标以及所述指示符区域为目标地区。

[0096] 显示器60可以是仪表板,人机界面(HMI),娱乐或娱乐信息节目系统(例如,无线 电、视频播放系统),导航系统,连接到辅助装置(例如,蓝牙装置、移动电话,或带入车辆的 任何其它系统——在此,信息通过例如智能手机投影或智能手机连接等呈现)的系统或者 所述辅助装置本身,平视显示器(HUD)(例如,投影到所述车辆的挡风玻璃上),用于提供可 视通信的其它装置等等。

[0097] 参照图1,为了教导的目的,显示器60定位于方向盘82后面车辆10的仪表盘80中。 在一些实施例中,显示器包括一个或多个屏幕、投影等等。例如,显示器60可以包括在方向 盘82后面的第一显示器60,投影到车辆10的挡风玻璃84上的第二显示器60 (例如,HUD),和 在仪表盘80中心的第三显示器6〇(例如,中央控制台86)。尽管显示器可以包括物理地分离 的部件,所述部件可以被视为单个显示器。另外,部件可以作为独立显示器被操作或不同的 显示器可以由不同的部件形成。

[0098] 在一些实施例中,指示符70代表了车辆系统20或环境50的状态或条件。一般,指示 符70包括计量器,例如速度计、转速计、里程计和燃料计量器。其它指示符70包括变速杆位 置、安全带警告灯、停车制动接合警告灯、和发动机故障灯,低燃料,低油压,低胎压,以及气 囊系统(SRS)故障。

[0099]其它指示符70可以与车辆系统20相关,例如加热系统、空调系统、刹车系统、加速 系统、娱乐或娱乐信息节目系统(例如,无线电、视频播放系统)、导航系统、镜(例如,镜调整 系统)、座位(例如,座位调整系统)、窗户控制系统、门(例如,门锁控制系统)、防撞系统、牵 引控制系统、喇叭、雨刷系统、安全带和软管、排放系统、发动机、发动机冷却系统、排放系 统、照明设备和刮水器、起动、充电和电池、转向和悬架、变速器、传感器、开关、HVAC、照相 机、通信装置(例如,OnStar ®装置和其它无线通信装置),连接到辅助装置(例如,蓝牙 装置、移动电话)的系统、线束、中控面板、平视显示器(HUD)、语音、手势、声音、以及类似。 [0100] 相似地,控制部22与车辆系统20相关。

[0101]继续参照图1和2,车辆10进一步包括注视检测装置90,其被构造成输出在一段时 间内反映注视位置94的注视位置数据92。例如,注视位置94是显示器60上驾驶员的注视位 置。

[0102]例如,注视检测装置90基于用户眼睛的位置、显示器60的位置,以及所述眼睛的方 向检测注视位置94。这里,注视位置94是这样的位置,即在该位置处矢量(与所述用户的眼 睛的所述位置相交并其与所述用户的眼睛的所述方向成一定角度)与显示器60的表面的平 面相交。所述用户的眼睛的位置取决于例如头部姿势。

[0103]根据示例性实施例,注视检测装置90包括照相机96,照相机96被构造成捕获所述 用户的头部的至少一部分(例如,脸部或眼睛)的图像,并产生代表该图像的信号。注视侦测 装置90还包括辐射能量源,例如红外光发射二极管98,以照亮所述用户的头部的至少一部 分。在一些实施例中,多于一个的照相机用于追踪眼睛,以改善注视检测装置90的准确度。 [0104]注视检测装置90被构造为分析由照相机96捕获到的所述图像,以确定所述眼睛的 所述位置和所述注视角度。例如,注视检测装置90包括类似于以下描述的计算装置40的计 算装置和用于处理所述图像的分析应用。

[0105]替代地,注视检测装置90将所述图像提供给计算装置40并且计算装置40包括分析 应用以分析所述图像。

[0106]为了教导的目的,以下描述的注视位置数据被示出为在一段时间内(X-轴线)测量 的注视位置94。注视位置数据沿y-轴线移动以示出注视位置94在车辆10中的不同位置之间 (例如,在显示器60上的位置之间)的移动。在车辆10中包括多个位置的区域由在y-轴线上 的范围指示。

[0107]在一些图中,在特定位置处固定的时间段用平整的线指示。在不同区域中位置之 间转换的时间段由倾斜的线指示。在相同区域中的不同位置之间跳跃的时间段由仍在区域 中的倾斜的线指示。

[0108] 图3示出了图1中车辆1〇的计算装置40。在一些实施例中,计算装置40包括应用界 面(API)和用户界面(UI)生成程序。在一些实施例中,所述计算装置是智能手机或者包括智 能手机。

[0109] 计算装置4〇包括用于控制和/或处理数据的处理器100、输入/输出数据端口 102、 和存储器110。所述处理器可以是多个处理器,其可包括在单个机器或多个机器中的分散的 处理器或平行处理器。所述处理器可以包括(一个或多个)虚拟处理器。所述处理器可以包 括状态机,专用集成电路(ASIC),包括现场可编程的门阵列(PGA),或状态机的可编程的门 阵列(PGA)。当处理器执行指令以执行“操作”,这可以包括所述处理器直接地执行所述操作 和/或促进、指令、或者与另一个装置或部件协作以执行所述操作。

[0110]计算装置40可以包括各种计算机可读媒介,所述计算机可读媒介包括易失媒介, 非易失媒介,可移动媒介,和非可移动媒介。如在说明书和权利要求书中所使用的术语“计 算机可读媒介”和它的变体包括存储媒介。存储媒介包括易失和/或非易失,可移动和/或非 可移动媒介,例如,1^11、如1^£?1?(^闪速存储器或其它存储技术、001?01〇¥0、或其它光盘 存储、磁带、磁盘存储、或其它磁性存储装置或被构造成用于存储可以被计算装置40存取的 信息的任何其它媒介。

[0111]当存储器110示出为位于接近处理器100时,可以理解的是所述存储器的至少一部 分可以是远程地被存取的存储系统,例如,在通信网络上的服务器(例如,远程服务器)、远 程硬盘驱动、可移动存储媒介、以上结合等等。因此,以下描述的任何数据、应用、和/或软件 都可以被存储在存储器之内,和/或能够通过网络连接被其它数据处理系统(未示出)存取, 所述其它数据处理系统可以包括例如局域网(LAN)、城域网(MAN)、或广域网(WAN)。

[0112] 存储器110包括在计算装置40中使用的几种软件和数据,存储器110包括应用120, 数据库130,操作系统140,和输入/输出装置驱动器150。

[0113]如本领域的技术人员所理解的是,操作系统140可以是与数据处理系统一起使用 的任何操作系统。输入/输出装置驱动器150可以包括通过操作系统140被所述应用存取的 各种程式以与装置以及某些存储器部件通信。应用120可以被存储在存储器110中,和/或作 为可执行指令存储在固件(未示出)中,并且应用120可以由处理器100执行。

[0114] 应用120包括各种程序,当应用120由处理器100执行时,所述各种程序实现了计算 装置40的各种特征,所述特征包括简化处理应用,系统通知应用,延迟通知应用,驾驶员请 求应用,布置应用,关系应用,信息调整应用,车辆系统信息应用,和驾驶员背景信息应用, 以下将对这些应用中的每一个进一步详细描述。应用120存储在存储器11〇中并且被构造成 由处理器100执行。

[0115] 应用120可以应用于存储在数据库130中的数据,例如由传感器30接收的信号的数 据(例如,与通过无线数据连接接收的数据一起通过输入/输出数据端口 1〇2接收的信号的 数据)。数据库130代表了由应用120、操作系统140、输入/输出装置驱动器150以及可以位于 在存储器110中的其它软件程序使用的静态和动态数据。

[0116] 应理解的是图3和以上的说明只是旨在提供对于适当环境的简短的、通用的描述, 在所述适当环境中,本公开一些实施例中的各种方面可以被实施。如在说明书和权利要求 中所使用的,术语“计算机可读媒介”、“计算机可读存储装置”和它们的变体可以包括存储 媒介。存储媒介可以包括易失和/或非易失、可移除和/或非可移除媒介,例如RAM、R0M、 EEPROM、闪速存储器或其它存储技术、CDROM、DVD、或其它光盘存储、磁带、磁盘存储、或其它 磁性存储装置或不包括传播信号,但可以被用来存储可以被在图3中不出的装置存取的十百 息的任何其它媒介。

[0117] 尽管描述涉及计算机可读指令,本公开的实施例还可以结合其它程序模块来实 施,和/或除了计算机可读指令外,以硬件和软件的组合形式被实施、或者以硬件和软件的 组合代替计算机可读指令的形式被实施。

[0118] 尽管描述包括计算机可执行指令的通用背景,本公开也可以结合其它程序模块被 实施,和/或被实现为硬件和软件的组合。在本文中广泛地使用的术语“应用”或它的变体包 括程式,程序模块,程序,部件,数据结构,算法等等。应用可以在各种系统构造上实施,其包 括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持计算装置、基于微 处理器的,可编程的消费性电子产品、它们的组合等等。

[0119] 图4-39示出了根据本公开的实施例的方法和应用。应用包括计算机可执行指令, 当其被处理器100执行时,使得处理器1〇〇执行所述相关的方法。

[0120] 应理解的是方法中的步骤不必以任何特定顺序被给出并且以替代的顺序执行一 些或全部步骤是可行且可考虑的。为便于描述和示出,所述步骤按照示出顺序示出。在不偏 离所附权利要求书的范围的情况下,可以同时地增加、省去、和/或执行步骤。

[0121] 还应理解的是,可以在任何时间终止所示出的方法。在一些实施例中,这个过程的 一些或全部步骤,和/或基本上等效的步骤由计算机可读指令的执行而运行,所述计算机可 读指令被存储或包括在计算机刻度媒介上,例如在上述计算装置40的存储器110上。

[0122] 参照图4-7,简化处理应用120包括计算机可读指令,当其由处理器100执行时,使 得处理器100运行简化处理方法200。

[0123] 在块210处,处理器100,显示了如图5所示的指示符70 (例如,有助于指示符70显 示),并且分析来自传感器30的传感器数据212(例如,水平的x_轴线是时间),在图1中示出 传感器30以及在图6中示出传感器数据212。

[0124] 继续参照图6,如果传感器数据212在阈值214的正常操作侧上(例如,阈值214之上 或以下),在块220处,处理器100分析注视位置数据(例如,由箭头222代表在一段时间内测 量的注视位置94,从在指示符区域76外部的注视位置94移动到在指示符区域76内部的注视 位置94)。例如,阈值214代表了车辆系统20的各自的一个的第一操作(例如正常操作)和第 二操作(例如临界操作)之间的间隔。

[0125] 再次参照图5,如果所述注视位置数据包括在指示符70的指示符区域76中的注视 位置94,其与传感器30的车辆系统20有关,那么在块230处,处理器100显示指示符70,使得 指示符70的突显度降低。降低突显度包括缩小尺寸、亮度、颜色、字体、指示符类型、移动到 较不为突显的位置(例如,偏离所述显示器的中心)、以上结合等等。

[0126]作为示例,参照图5-7,处理器100显示了燃料液位指示符70,并且分析了来自燃料 液位传感器30的燃料液位数据212。如果燃料液位数据212显示所述燃料液位在燃料液位阈 值214之上,那么处理器1〇〇分析注视位置数据。如果燃料液位数据212高于燃料液位阈值 214,那么燃料液位数据212是可接受的并且该信息不是所述驾驶员一知道燃料液位就立即 里要的。如果所述注视位置数据包括在燃料液位指示符70的指示符区域76中的注视位置 94,那么所述驾驶员已经注意到燃料液位,并且处理器丨〇〇将通过改变所使用的图象的类型 和/或降低所述图像尺寸来降低燃料液位指示符70的突显度。

[0127]其它示例包括方法200,其中,发动机温度数据212由发动机温度传感器30测量并 与发动机温度阈值214(例如,发动机温度阈值214限定“黄色地区”)比较;在方法200中,气 压数据212由在车轮的一个中的气压传感器30测量并与气压阈值214比较(例如,所述气压 阈值是低的但不是临界的气压,例如,对于其正常值是32PSI的轮胎来说,气压阈值是 28PSI);以及在方法200中,油寿命数据212由油寿命传感器30测量并与油寿命阈值214比较 (例如,所述油寿命超过100%意味着需要更换油)。在这些示例中,低于发动机温度阈值214 的发动机温度数据212是正常的,位于气压阈值214之上的气压数据212是正常的,以及低于 油寿命阈值214的油寿命数据212是正常的。

[0128]参照图8-11,系统通知应用129包括计算机可读指令,当其由处理器1〇〇执行时,使 得处理器100执行系统通知方法300。

[0129] 在块310处,处理器1〇〇,在显示器60上显示指示符70,如图9所示,并且处理器1〇〇 分析来自传感器3〇的数据312 (例如,水平的x-轴线是时间),如图10所示。

[0130]继续参照图10,如果传感器数据312位于阈值314的临界操作侧(阈值314之上或以 下),那么在块320处,处理器100分析注视位置数据(例如,如在图11中所示,由箭头犯2代表 在一定时间段内测量的注视位置94,丛指示符区域76外部的注视位置94移动到指示符区域 76内部的注视位置94)。例如,阈值314代表在阈值314之下操作车辆系统20,将发出警告。 [0131]继续参照图9,在块330处,如果所述注视位置数据不包括在指示符70的指示符区 域76中的注视位置94,那么处理器1〇〇将提高指示符70的突显度。例如,增加指示符70的突 显度(例如,以一定速率或在一段时间内)直到注视位置数据包括在指示符70的指示符区域 76中的注视位置94,其与传感器30的车辆系统20相关联。增加所述突显度包括增大尺寸、亮 度、指示符类型、移动到更加突显的位置72 (例如,朝向所述显示器的中心移动),以上结合 等等。

[0132] 例如,参照图9-11,处理器100显示了燃料液位指示符70并且分析了来自燃料液位 传感器3〇的数据312。如果燃料液位传感器数据312示出的所述燃料液位低于燃料液位阈值 314,那么所述燃料液位是不可接受的并且将通知所述驾驶员。处理器1〇〇分析注视位置数 据。如果所述注视位置数据不包括在燃料液位指示符70的指示符区域76中的注视位置94, 那么所述驾驶员是未意识到所述燃料液位的,并且处理器100将通过增加所述图像尺寸提 高燃料液位指示符70的突显度。一旦所述注视位置数据包括在燃料液位指示符7〇的指示符 区域76中的注视位置94,所述驾驶员就已经注意到所述燃料液位。

[0133]其它的示例包括方法300,其中,发动机温度数据212由发动机温度传感器3〇测量 并与发动机温度阈值214 (例如,发动机温度阈值214限定“红色地区”)比较;在方法300中, 气压数据212由在车轮的一个中的气压传感器30测量并与气压阈值214比较(例如,所述气 压阈值是临界压强);在方法300中,油寿命数值212由油寿命传感器30测量并与油寿命阈值 214 (例如,所述油寿命超过125%意味着超期未更换油)比较。在这些示例中,在发动机温度 阈值之上的发动机温度数据212是临界的,在气压阈值214之下的气压数据212是临界的,并 且在油寿命阈值214之上的油寿命数据212是临界的。

[0134] 如另一个示例,道路位置数据与车道(例如,阈值)相比较,并且车道偏离警告将利 用触觉反馈传达给所述驾驶员直到所述驾驶员看到警告指示符或车道偏离系统的指示符。 [0135] 参照图12-15,延迟通知应用120包括计算机可读指令,当其由处理器100执行时, 使得处理器1〇〇执行延迟通知方法400。

[0136] 参照图13,在块410处,处理器100收到信息68或产生信息68。然后处理器100产生 并显示代表等待通知的指示符70,并且分析注视位置数据412。

[0137] 在块420处,如果所述注视位置数据(例如,由箭头412代表在一定时间段内测量的 注视位置94,在指示符区域76外部的注视位置94移动到在指示符区域76内部的注视位置 94)包括在指示符70的指示符区域76中的注视位置94,参照图14,那么处理器100显示信息 68 (例如,用信息68取代指示符70)。在替代的实施例中,在信息68被显示前,注视位置94在 一定时间内处于指示符区域76中。

[0138] 指示符70可以基于来自传感器30的数据被产生或显示。例如,参照图I2,在块410 处,只有在传感器数据422 (例如,水平的x-轴线是时间)在阈值424之下时,处理器100才可 以产生并显示代表等待通知的指示符70。替代地或另外地,在块420处,只有在传感器数据 422在阈值424之下时,处理器1〇〇才显示信息68,。

[0139] 在此,阈值424代表了,在阈值424之下域者在阈值424之上)操作车辆系统20,驾 驶员可以在基本上不被分散注意力或者被干扰的情况下接收信息68。例如,阈值4M可以是 速度,交通量,到达下一行驶方向的时间等等。

[0140] 例如,参照图13-14,处理器100接收信息68,产生并在显示器60上显示指示符70 (例如,信封符号),并且处理器100分析注视位置数据412。如果注视位置数据412包括在指 示符70的指示符区域76中的注视位置94,那么处理器100在显示器76上显示信息68。在一些 实施例中,例如,如果由速度传感器30测得的速度低于10公里每小时,那么处理器1〇〇仅显 示指示符70。

[0141] 参照图16-20,驾驶员请求应用120包括计算机可读指令,当其被处理器1〇〇执行 时,使得处理器100执行驾驶员请求方法500。

[0142] 在块510处,参照图17和18,处理器100显示指示符70并且分析注视位置数据512。

[0143] 在块520处,参照图18和19,计算了对于每个指示符70的注视或扫视频率522。对于 指示符70的注视频率522是在时间段524内注视位置94移动到指示符70的指示符区域76 (例 如,转换T)中的次数。在替代的实施例中,注视频率522是在时间段524内注视位置94在指示 符区域76中度过的时间(例如,停留时间等于在注视转换或转移到其它目标区域之间的所 有固定和扫视的总和)。扫视持续时间可以被定义为从注视方向朝向目标移动的时刻到从 所述目标上移走的时刻。单次扫视持续时间可以被称为扫视。

[0144] 所述注视频率也可以被定义为在预定的抽样时间段内,或者在预定的任务期间, 到目标的扫视次数,其中,每次扫视都通过到不同的目标至少一次扫视而间隔开。 一

[0145] 在块530处,参照图19-20,基于指示符70的相应计算的注视频率522,每个指示符 70的突显度都被提高或降低。例如,每个指示符70的突显度都与平均注视频^532相关联。 如果计算的注视频率522在平均注视频率532之上,那么处理器1〇〇将增加指示符70的突显 度。如果计算的注视频率522在平均注视频率532之下,那么处理器1〇〇将降低指示符70的突 显度。

[0146] 在一些实施例中,平均注视频率532是在较长的时间段内的计舁的汪视频半'

[0147] 参照图21-24,布置应用120包括计算机可读指令,当其由处理器100执行时,使得 处理器100执行布置方法600。 _ _

[0148] 根据布置方法600,具有更高平均注视频率5:32,534的指示符70被显示在具有显示 器60的中心并且朝向其被显示的更加突显的位置72,或在被显示在最突显的位置。 /

[0149] 参照图22和23,在块610处,处理器100基于先前计算的平均注视频率532(例 期平均)显示指示符70并且分析注视位置数据512。暂时地参^图19和23,对于每个指示符 70,处理器100计算当前注视频率522 (例如,在指示符7〇的指示符区域76中的注视位置94的 数量,或者在最后一分钟524内注视位置94在指示符70的指示符区域76中的时间),并且基 于当前注视频率522计算更新的平均注视频率534。

[0_ 在块620处,参照图23,处理器100分析指示符70的更新的平均注视频率幻4。

[0151] 在块630处,参照图24,基于更新的平均注视频率534,处理器100将指示符70布置 在显示区域74中的位置72处。例如,在显示器60上的位置72,以及在这些位置72处的尺寸范 围是预先定义的并按突显度被排序(即,位置72和显示区域74)。

[0152] 通常,具有更大的更新的平均注视频率534的指示符70被布置在具有相对更大的 尺寸范围的多个位置72中(例如,在显示区域74内的指示符区域76的尺寸基于如上面关于 方法500所描述的当前注视频率522确定),所述多个位置72在显示器60上更中心的(或者容 易发现的)位置72处。类似地,具有更小的更新的平均注视频率534的指示符70被布置芒显 示器60上具有相对更小尺寸范围且具有距中心较远的位置72的位置72中(例如,在显示区 域74内的指示符区域76的尺寸基于如上面对于方法500所描述的当前注视频率522确定)。

[0153] 在一些实施例中,HUD包括最突显的位置72。

[0154] 参照图25-28,关系应用120包括计算机可读指令,当其由处理器1〇〇执行时,使得 处理器100执行关系方法700。

[0155] 在块710处,参照图26,处理器100显示指示符70并且分析注视位置数据712 (例如, 水平的x-轴线是时间)。

[0156] 在块7 2 0处,参照图2 7,确定了注视模式7 2 2。例如,当在至少两个不同的时间段 724,726内在指示符70中的两个不同的指示符的指示符区域76中发现注视位置94时,注视 模式722被确定。替代地,当在两个指示符70之间的转换次数大于转换的阈值次数时,注视 模式722被确定。

[0157] 在块730处,参照图28,如果确定了注视模式722,那么处理器100将减小在与注视 模式722相关的指示符70之间的距离732或者以其它方式结合与注视模式722相关的指示符 70 〇

[0158] 参照图29-35,信息调整应用120包括计算机可读指令,当其由处理器100执行时, 使得处理器100执行信息调整方法800。根据信息调整方法800,默认信息通过辅助信息被增 大,或者基于驾驶员的注视以其它方式被改变。

[0159]通过计算装置40通信的信息68可以是静态的(例如,已经在存储器中固定的或预 先确定的内容)或者可以是动态的(例如,可以随时间改变)。动态信息包括,例如,一天中的 时间、天气、和驾驶员状态。

[0160]信息68可以被产生和存储,以被计算装置40存取。替代地,计算装置40可以实时产 生信息68或请求车辆系统20实时产生信息6S。为了教导的目的,信息68在下面被分类为默 认信息和辅助信息。

[0161] 存储器110包括默认参数值组812。示例性参数包括位置、距离、和时间。

[0162] 在块810处,处理器100监测传感器3〇或车辆系统20的输出数据62。输出数据62包 括与默认参数值组812相关联的参数的值。处理器100将传感器30的输出数据62与默认参数 值组812对比。

[0163] 当传感器30的输出数据62与默认参数值组812(例如,图31)中的一个相匹配时,在 块820处,处理器100基于默认参数值组812(例如,图3¾中相匹配的一个存取、产生或者请 求默认信息822。例如,处理器100存取或产生与默认参数值组812中的相匹配的一个相关联 的默认信息822;或者处理器100请求由车辆系统2〇产生默认信息822并且处理器100接收默 认信息822。

[0164] 在块830处,处理器100将默认信息822通信给驾驶员。例如,所述通信在显示器60 上是可视的和/或所述通信通过车辆10的音频系统88可听到。

[0165] 在块840处,处理器100分析注视位置数据842 (例如,水平X-轴线是时间)以监测驾 驶员的注视位置94 (例如,图33)。如果注视位置94在显示器60 (例如,HMI)上持续的时间844 大于阈值时间846,那么注视被记录并且处理器100在注视被记录的时间849处产生辅助参 数值848 (例如,图34)。替代地被描述为,辅助参数值848修改(例如,添加到)默认参数值组 812。

[0166] 替代地,如果注视频率超出一定阈值,那么注视被记录。注视频率是在一定时间段 内注视位置94在显示器60上的次数,如上面对于注视频率522所描述的那样。

[0167] 在块850处,处理器100基于辅助参数值848 (例如,图35)产生(或请求产生)辅助信 息 852。

[0168] 在块860处,辅助信息852通信给驾驶员。例如,辅助信息852在显示设备60上可视 地被通信,和/或通过车辆10的音频系统88可听见地通信。

[0169] 如此,计算装置40通过增大通信给所述驾驶员的信息68,响应于所述驾驶员的注 视位置94。例如,信息68的通信频率通过通信除了辅助信息852之外的默认信息822被增大。

[0170] 在一些实施例中,注视引起使用新的参数值组,来代替默认参数值组812。与默认 参数值组812相比,所述新的参数值组使得更加频繁地通信提供至驾驶员。例如,所述新的 参数值组是更加完整的参数值组(或者以其它方式增加默认参数值组812的数量)。

[0171] 在一些实施例中,如果在一段时间内驾驶员的注视没有在注视位置数据中,那么 注视的缺失将减少到所述驾驶员的默认通信。例如,注视的缺失引起使用新的参数值组,来 代替默认参数值组812。与默认参数值组812相比,所述新的参数值组使得不那么频繁地通 信提供至驾驶员。例如,新的参数值组是更加稀少的参数值组(或者以其它方式减少默认参 数值组812的数量)。 _ t〇172]参照图30-35,现描述一个示例应用。在此,信息68是沿路线862的指示,所述指示 与参数(例如,位置,包括基于地理或时间参数的位置)相关联。路线862由计算装置4〇或车 辆系统20产生,其一个或者两个都是导航系统。

[0173]为了教导的目的,所述参数是位置。默认位置值812可以由多种方法确定。例如,默 认位置值812可以基于沿路线862的转弯或者其它方向的相对距离;或者在给予所述转弯的 相对距离和所述车辆的当前速度的情况下,基于沿路线862的转弯或者其它方向的时间。

[0174] 传感器30 (例如,导航系统2〇的传感器30)是位置传感器30,其输出数据62是车辆 位置62。

[0175] 参照图30,处理器100监测车辆位置62并将车辆位置62与默认位置值组812对比。

[0176] 参照图31和32,当车辆位置62与默认位置值组812中的一个相匹配时,处理器1〇〇 基于在默认位置值组812中的相匹配的一个产生默认方向(default direction)822。处理 器100将此默认方向822通信给所述驾驶员。

[0177] 参照图33和34,处理器100分析注视位置数据842以监测来自驾驶员的注视。如果 注视位置94在显示器60上持续的时间844大于阈值时间846,那么注视被记录并且处理器 100在所述注视被记录的时间849处产生辅助位置值848。

[0178] 参照图34和35,处理器100基于辅助位置值848产生(或请求产生)辅助方向 (auxiliary direction)852。例如,辅助方向852是下一个转弯。此处,稍后将基于默认位置 值812的下一个呈现所述转弯,而代替地由于辅助位置值848现在呈现所述转弯。

[0179] 替代地,辅助方向852是诸如“我在正常工作,你的下一个转弯将在10秒内呈现”的 通用信息。此处,当默认参数值组812的下一个值与车辆位置10相匹配时,所述下一个转弯 在10秒内呈现。

[0180] 如此,计算装置40通过增加通信给所述驾驶员的指示(directi〇n)68,来响应于驾 驶员的所述注视。例如,指示68的通信频率通过通信除了默认方向822之外的辅助方向852 而被增大。

[0181] 这项技术的一个优点是计算装置40通过调整默认通信以包括更频繁的指令或通 用信息来响应于具有新的体验且不平静的驾驶员(例如,可由注视证明)。例如,新的体验是 行驶在在驾驶员从没行驶过的路线上。替代地,如果驾驶员正行驶在常见的路线上,那么注 视的缺乏反映了所述驾驶员比较舒适。作为响应,计算装置40将包括更不为频繁的指令(例 如,所述默认方向)和/或将消息限制为仅仅是重要提醒(例如,事故,危险,路况改变)。

[0182] 参照图36-37,车辆系统信息应用120包括计算机可读指令,当其由处理器100执行 时,使得处理器1〇〇执行车辆系统信息方法900。根据车辆系统信息方法900,当用户注视与 车辆系统20相关联的位置9〇2—段时间时,与车辆系统20相关联的信息68被呈现。

[0183]待通过计算装置40通信的信息68可以是静态的(例如,固定的或预先确定的)或可 以是动态的(例如,可以随时间改变)。信息68可以被产生且存储以通过计算装置40存取。替 代地,计算装置40可以实时产生信息68或请求车辆系统20实时产生信息68。与车辆系统20 相关联的位置902包括与车辆系统2〇相关联的指示符70,与车辆系统20相关联的控制部22, 和在车辆10中指定的位置(例如,在仪表盘80、方向盘82或中央控制台86上)。

[0184] 在块910处,处理器100分析注视位置数据942 (例如,水平x-轴线是时间)以监测驾 驶员的注视位置94。如果注视位置94在与车辆系统20相关联的位置处的时间944大于阈值 时间946,那么在块920处,注视被记录并且,在块930处,处理器100在显示器60上可视地通 信信息68,和/或通过车辆10的音频系统88可听见地通信信息68。

[0185]以使用自动巡航控制(ACC)系统20作为车辆系统20的示例,ACC系统20在打开ACC 系统20时以及在使用ACC系统20设置速度时被激活。

[0186]根据一个实施例,与ACC系统20相关联的位置是速度计70并且信息68包括在速度 计70上的值,所述值包括白目ij速度,速度限制,和由所述驾驶员输入的设置速度。替代地,信 息68包括例如“我在正常工作,我正在试图达到你的设置速度,,的通用信息。

[0187]根据另一个实施例,与ACC系统2〇相关联的位置是用于提供输入(例如,设置速度) 到ACC系统20的控制部组,并且信息68包括关于如何使用控制部组来操作ACC系统20的指 7J\ 〇

[0188]参照图38-39,驾驶员背景信息应用12〇包括计算机可读指令,当其由处理器100执 行时,使得处理器1〇〇执行驾驶员背景信息方法1〇〇〇。根据驾驶员背景信息方法1000,信息 6S基于来自传感器30的代表驾驶员的背景的测量,并且所述信息在所述驾驶员注视与车辆 系统20相关联的位置一段时间后被呈现。

[0189]将通过计算装置40被通信的信息68可以是静态的(例如,固定的或预先确定的)或 者可以是动态的(例如,可以随时间改变)。信息68可以被产生且存储以通过计算装置48存 取。替代地,计算装置40可以实时产生信息e8或请求车辆系统2〇实时产生信息68。

[0190]来自传感器30的测量代表了驾驶员背景或者被用于识别背景。例如,背景包括驾 驶员的驾驶经验(例如,新手/专家、年龄),车辆10外部的环境50 (例如,天气、路况),车辆10 内部的环境50 (例如,占用、温度),和车辆系统20的状态(例如,燃料液位)。驾驶员经验可以 通过面部识别确定,所述面部识别与包括年龄或经验度量的驾驶员轮廓相关联。

[0191]在块1010处,处理器100分析来自传感器30的输出数据62、64、66。在块1020处,处 理器100识别或产生基于输出数据62、64、66的背景1022。

[0192]在块1030处,处理器100识别或产生特定于车辆系统20和背景1022的背景信息 1032。

[0193]驾驶员背景信息方法1000的块1040、1050、1060与车辆系统信息方法900的块910、 920、930相似并且参照图37来描述。

[0194]在块1040处,处理器100分析注视位置数据942以监测驾驶员的注视位置94。如果 注视位置94在与车辆系统2〇相关联的位置902处的时间944大于阈值时间946,那么在块 1050处,注视被记录并且,在块1060处,处理器100通信与车辆系统20相关的背景信息1032 (即,背景信息1032特定于与位置902相关联的车辆系统20)。背景信息1032在显示器60上可 视地通信和/或通过车辆10的音频系统88可听见地通信。

[0195] 例如,处理器100分析来自传感器30的输出数据62并且,基于输出数据62,处理器 100确定所述驾驶员是新手1022。基于所述驾驶员是新手1022,处理器100为车辆系统20产 生或识别背景信息1032。

[0196] 使用车辆系统20作为ACC系统20的示例,与ACC系统20相关联的位置902是用于ACC 系统20的刻度盘22。当处理器100记录在ACC系统20的刻度盘22处的注视后,处理器100存取 用于ACC系统20的背景信息1032。例如,背景信息1032包括用于操作ACC系统20的指示,所述 指示对于新手驾驶员来说将是有用的。处理器100在显示器60上可视地通信背景信息1032 和/或通过车辆10的扬声器系统可听见地通信背景信息1032。

[0197]例如,处理器100分析来自传感器30的输出数据62并且,基于输出数据62,处理器 100确定所述车辆的占用1022。基于所述车辆的占用1022,处理器100产生或识别用于车辆 系统20的背景信息1032。背景信息1032包括其基于占用1022将提供更加舒适的设置到所有 乘客的背景信息。

[0198] 使用供暖通风空调(HVAC)系统20作为车辆系统20的示例,与HVAC系统20相关联的 位置902是HVAC系统20的刻度盘22。当处理器100记录在HVAC系统20的刻度盘22处的注视 时,处理器100存取用于HVAC系统20的背景信息1032。例如,背景信息1032包括用于操作 HVAC系统20的背通风孔的指示,因为占用1022包括在车辆10的后座中的乘客(例如,车辆满 载)。处理器100在显示器60上可视地通信背景信息1032和/或通过车辆10的扬声器系统可 听见地通信背景信息1032。

[0199]本文公开了本公开的各种实施例。所述公开的实施例仅仅是示例,这些示例可以 以各种形式和替代形式以及它们的组合被具体实施。如在本文中使用的,例如,“示例性的” 和相似的术语,广泛地涉及作为例示、样本、模型或模式的实施例。

[0200] 在不偏离本发明的权利要求书的情况下,可以对上述实施例作出各种变型、修改 和组合。所有这些变型、修改和组合在本文中包括在本公开以及所附权利要求书的范围中。

Claims (20)

1.一种在包括眼跟踪装置的车辆上使用的方法,其包括: 通过包括处理器的装置促进在车辆的显示器上显示指示符,所述指示符包括指示符区 域,其中所述指示符与车辆系统相关联; 通过所述装置将传感器数据与阈值进行比较,其中所述传感器数据与车辆系统相关 联,其中所述阈值代表在所述车辆系统的第一状态和所述车辆系统的第二状态之间的分 开; 通过所述装置将注视位置数据与所述指示符区域进行比较;以及 通过所述装置降低所述指示符的突显度,如果: 所述传感器数据在所述阈值的正常状态侧上;并且 在所述指示符区域中发现了所述注视位置数据。
2.如权利要求1中所述的方法,其中所述指示符包括图像。
3.如权利要求1中所述的方法,其中所述第一状态是正常状态并且所述第二状态是临 界状态。
4. 如权利要求1中所述的方法,其中所述传感器数据代表所述车辆系统的状态。
5. 如权利要求1中所述的方法,其中降低所述突显度包括减小所述指示符的尺寸。
6. 如权利要求1中所述的方法,其中降低所述突显度包括减小所述指示符的亮度。
7. 如权利要求1中所述的方法,其中降低所述突显度包括改变所述指示符的类型。
8.如权利要求1中所述的方法,其中降低所述突显度包括改变所述指示符在所述显示 器上的位置。
9. 一种在包括眼跟踪装置的车辆上使用的方法,其包括: 在车辆的显示器上显示指示符,所述指示符包括指示符区域,其中所述指示符与车辆 系统相关联; 将传感器数据与阈值进行比较,其中所述传感器数据与所述车辆系统相关联,其中所 述阈值代表在所述车辆系统的第一状态和所述车辆系统的第二状态之间分开; 将注视位置数据与所述指示符区域进行比较;以及 增加所述指示符的突显度,如果: 传感器数据在所述阈值的临界状态侧上;并且 未在所述指示符区域中发现注视位置数据。
10. 如权利要求9中所述的方法,其中所述指示符包括图像。
11. 如权利要求9中所述的方法,其中所述第一状态是正常状态并且所述第二状态是临 界状态。
12. 如权利要求9中所述的方法,其中所述传感器数据代表所述车辆系统的状态。
13. 如权利要求9中所述的方法,其中所述增加所述突显度包括增大所述指示符的尺 寸。
14. 如权利要求9中所述的方法,其中所述增加所述突显度包括增大所述指示符的亮 度。
15. 如权利要求9中所述的方法,其中所述增加所述突显度包括改变所述指示符的类 型。
16. 如权利要求9中所述的方法,其中所述增加所述突显度包括改变所述指示符在所述 显示器上的位置。
17. —种在包括眼跟踪装置的车辆上使用的方法,其包括: 在车辆显示器上显示指示符,所述指示符包括指示符区域; 计算与第一指示符相关联的注视频率,其中所述注视频率在时间段内被计算并且基于 至少下述之一: 注视位置移动进入所述指示符区域中的次数;以及 注视位置在所述指示符区域中停留的时间;以及 基于所述注视频率确定突显度,在该突显度处设置所述指示符。
18. 如权利要求17中所述的方法,其中: 所述注视频率是第一注视频率以及所述时间段是第一时间段;以及 所述方法进一步包括: 在第二时间段内计算第二注视频率,所述第二时间段比所述第一时间段长; 如果所述第一注视频率高于所述第二注视频率,那么增加所述指示符的所述突显度; 以及 如果所述第一注视频率低于所述第二注视频率时,降低所述指示符的所述突显度。
19. 如权利要求17中所述的方法,其中,突显度基于在显示器上的尺寸、亮度、类型和位 置中的至少一个。
20. 如所述权利要求17中所述的方法,其中: 所述指示符区域是第一指示符区域,所述注视频率是第一注视频率以及所述时间段是 第一时间段;以及 所述方法进一步包括: 在车辆显示器上显示第二指示符,所述第二指示符包括第二指示符区域; 计算与所述第二指示符相关联的第二注视频率,其中所述第二注视频率在第二时间段 内被计算并且基于至少下述之一: 注视位置移动进入所述第二指示符区域中的次数;以及 注视位置在所述第二指示符区域中停留的时间;以及 基于所述第二注视频率确定所述第二指示符的突显度; 其中,在所述显示器上的位置基于突显度被排序并且确定所述突显度包括基于所述第 一注视频率和所述第二注视频率的顺序确定所述第一指示符和所述第二指示符的所述位 置。
CN201511035860.XA 2014-10-15 2015-10-15 包括眼跟踪装置的供车辆使用的系统和方法 CN105667421B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/514,791 2014-10-15
US14/514,791 US9530065B2 (en) 2014-10-15 2014-10-15 Systems and methods for use at a vehicle including an eye tracking device

Publications (2)

Publication Number Publication Date
CN105667421A CN105667421A (zh) 2016-06-15
CN105667421B true CN105667421B (zh) 2018-04-10

Family

ID=55638096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511035860.XA CN105667421B (zh) 2014-10-15 2015-10-15 包括眼跟踪装置的供车辆使用的系统和方法

Country Status (3)

Country Link
US (1) US9530065B2 (zh)
CN (1) CN105667421B (zh)
DE (1) DE102015117224A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
US10162651B1 (en) 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
CN105947038B (zh) * 2016-06-20 2018-07-31 中车株洲电力机车研究所有限公司 一种机车信息显示装置及机车
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
CN106710277B (zh) * 2016-12-26 2019-03-26 重庆路格科技有限公司 驾驶方向提示系统
CN107719301A (zh) * 2017-09-22 2018-02-23 广西南宁胜祺安科技开发有限公司 一种可散发芬芳气味的安全带装置及其提示方法
CN107719297A (zh) * 2017-09-22 2018-02-23 广西南宁胜祺安科技开发有限公司 一种散发爱意的安全带装置及其提示方法
CN107647534A (zh) * 2017-09-22 2018-02-02 广西南宁胜祺安科技开发有限公司 一种具有磁性的安全带装置及其提示方法
CN107719296A (zh) * 2017-09-22 2018-02-23 广西南宁胜祺安科技开发有限公司 一种爱心安全带装置及其使用方法
US10600390B2 (en) * 2018-01-10 2020-03-24 International Business Machines Corporation Displaying a vehicle notification in a location determined based on driver eye gaze direction and other criteria

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
CN103144586A (zh) * 2011-12-07 2013-06-12 现代自动车株式会社 驾驶车辆时使用的眼睛离开防止系统
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
CN103728727A (zh) * 2013-12-19 2014-04-16 财团法人车辆研究测试中心 自动调整可视范围的信息显示系统及其显示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US7522344B1 (en) * 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
GB0920809D0 (en) * 2009-11-27 2010-01-13 Qinetiq Ltd Eye tracking apparatus
US20110310001A1 (en) * 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872069A (zh) * 2009-04-02 2010-10-27 通用汽车环球科技运作公司 增强视觉系统全挡风玻璃hud
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
CN103144586A (zh) * 2011-12-07 2013-06-12 现代自动车株式会社 驾驶车辆时使用的眼睛离开防止系统
CN103728727A (zh) * 2013-12-19 2014-04-16 财团法人车辆研究测试中心 自动调整可视范围的信息显示系统及其显示方法

Also Published As

Publication number Publication date
DE102015117224A1 (de) 2016-04-21
CN105667421A (zh) 2016-06-15
US9530065B2 (en) 2016-12-27
US20160110621A1 (en) 2016-04-21

Similar Documents

Publication Publication Date Title
US10127810B2 (en) Vehicle safety and driver condition monitoring, and geographic information based road safety systems
JP6551790B2 (ja) Driving support method, driving support apparatus using the same, automatic driving control apparatus, vehicle, program
US10279804B2 (en) Method for smartphone-based accident detection
US10177986B2 (en) Universal console chassis for the car
JP6643461B2 (ja) Advertising billboard display and method for selectively displaying advertisements by sensing demographic information of vehicle occupants
US10217343B2 (en) Alert generation correlating between head mounted imaging data and external device
US9400564B2 (en) Interactive vehicle window display system with a safe driving reminder system
US20180004211A1 (en) Systems for autonomous vehicle route selection and execution
US9472083B2 (en) Direct observation event triggering of drowsiness
US9786170B2 (en) In-vehicle notification presentation scheduling
CN107531245B (zh) 信息处理系统、信息处理方法、以及程序
US10377303B2 (en) Management of driver and vehicle modes for semi-autonomous driving systems
WO2017075976A1 (zh) 一种驾驶行为评测方法及装置
EP3125211B1 (en) Information presentation device and information presentation method
US10380888B2 (en) Information processing apparatus, information processing method, and program
DE102015117620A1 (de) Verfahren und System zum Vermindern der Auswirkungen eines beeinträchtigten Fahrers
Ahlstrom et al. A gaze-based driver distraction warning system and its effect on visual behavior
EP3095101B1 (en) Post-drive summary with tutorial
CN103732480B (zh) 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
US20170217445A1 (en) System for intelligent passenger-vehicle interactions
US20150161913A1 (en) Method, computer-readable storage device and apparatus for providing a recommendation in a vehicle
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
US20160272215A1 (en) Systems and methods for prioritized driver alerts
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
US7428449B2 (en) System and method for determining a workload level of a driver

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant