CN105000020A - 用于基于车辆事件解读驾驶员生理数据的系统和方法 - Google Patents

Abstract

本申请涉及用于基于车辆事件解读驾驶员生理数据的系统和方法。解读生理信息的方法包括从至少一个生理信号源接收与车辆的使用者相关的生理数据，接收车辆事件数据和与车辆的操作相关的驾驶背景数据，并且基于车辆事件数据、驾驶背景数据、和生理数据确定使用者的状态。

Description

用于基于车辆事件解读驾驶员生理数据的系统和方法

技术领域

技术领域总体涉及基于车辆的人机界面（HMI）系统，并且更具体地涉及用于在这种系统的背景下将生理信号与和车辆相关的事件相关联的系统和方法。

背景技术

现代车辆，尤其是汽车，越来越能使用各种非侵入性设备感测和监视其乘客的生理活动（心率、面部表情、眼睛运动等） 这些设备例如包括包含在车辆内部的传感器、存在于移动设备内的传感器、嵌入在可穿戴技术中的传感器，等等。所得到的生理数据可被用于各种目的，这包括检测驾驶员的情绪状态、认知状态、或警觉。

不过，目前已知的用于解读这种生理数据的系统和方法可能在一些方面不是理想的。例如，数据本身可能是模糊的、不清楚的、有噪音的、和/或非常泛泛，并且因此对某些车辆环境来说可能不是最优的。而且，这种数据的质量可能导致对驾驶员状态的错误检测（当状态发生时却没有被检测到）或假警报（检测到的状态实际上并不存在）。

因此，期望提供一种用于使用生理数据确定车辆的驾驶员的使用者（例如，驾驶员）的状态的改善的系统和方法。另外，本发明的其它令人满意的特征和特点将从下面的具体描述和所附的权利要求并结合附图以及前面的技术领域和背景技术而变得易于理解。

发明内容

根据一个实施例的用于解读生理信息的方法包括，从至少一个生理信号源接收与车辆的使用者相关的生理数据，接收与该车辆的操作相关的车辆事件数据，接收与驾驶情况或背景（例如，交通、道路条件）相关的数据，以及基于所述车辆事件数据和所述生理数据确定所述使用者的状态。

根据另一实施例，基于车辆的生理解读系统包括生理解读模块和动作确定模块。生理解读模块被构造成接收与该车辆的使用者相关的生理数据，接收与该车辆的操作相关的车辆事件数据，接收与驾驶情况有关的数据，以及基于所述车辆事件数据、驾驶情况数据、和所述生理数据确定所述使用者的状态。动作确定模块被构造成，从所述生理解读模块接收所述使用者的状态，并且基于所述使用者的状态确定建议动作。

本申请还提出了如下方案：

方案1. 一种用于解读生理信息的方法，包括：

从至少一个生理信号源接收与车辆的使用者相关的生理数据；

接收与所述车辆的操作相关的车辆事件数据；

接收与所述车辆被操作时的背景相关的驾驶背景数据；以及

基于所述车辆事件数据、所述驾驶背景数据、和所述生理数据来确定所述使用者的状态。

方案2. 如方案1所述的方法，还包括基于所述使用者的所述状态确定建议动作。

方案3. 如方案1所述的方法，其中所述建议动作包括向所述使用者提供通知和提供被构造成改变所述车辆的操作的指令中的至少一个。

方案4. 如方案1所述的方法，其中确定所述使用者的状态包括提供机器学习模型，该模型被构造成将所述车辆事件数据和与所述使用者相关的所述生理数据相关联。

方案5. 如方案1所述的方法，其中所述使用者的所述状态包括对应使用者睡意水平的至少一个状态和对应使用者紧张水平的第二状态。

方案6. 如方案1所述的方法，其中所述车辆事件数据至少包括事件代码和对应车辆事件发生时的时间的时间标记。

方案7. 如方案1所述的方法，其中所述至少一个生理信号源被构造成测量心率、氧使用、眼睛运动、流汗和水平中的至少一个。

方案8. 一种基于车辆的生理解读系统，包括：

生理解读模块，其被构造成接收与该车辆的使用者相关的生理数据，接收与该车辆的操作相关的车辆事件数据，以及基于所述车辆事件数据和所述生理数据确定所述使用者的状态；以及

动作确定模块，其被构造成从所述生理解读模块接收所述使用者的所述状态，并且基于所述使用者的所述状态确定建议动作。

方案9. 如方案8所述的系统，其中所述建议动作包括向所述使用者提供通知和提供被构造成改变所述车辆的操作的指令中的至少一个。

方案10. 如方案8所述的系统，其中确定所述使用者的所述状态包括提供机器学习模型，该模型被构造成将所述车辆事件数据和与所述使用者相关的所述生理数据相关联。

方案11. 如方案8所述的系统，其中所述使用者的所述状态包括对应使用者睡意水平的至少一个状态和对应使用者紧张水平的第二状态。

方案12. 如方案8所述的系统，其中所述车辆事件数据至少包括事件代码和对应车辆事件发生时的时间的时间标记。

方案13. 如方案8所述的系统，其中所述生理解读模块包括被构造成解读所述生理数据的特征提取模块，机器学习模块、和被构造成确定所述使用者的所述状态的分析模块。

方案14. 如方案8所述的系统，其中所述至少一个生理信号源被构造成测量心率、氧使用、眼睛运动、流汗和水平中的至少一个。

方案15. 一种承载软件指令的非瞬态计算机可读介质，所述软件指令被构造成指令处理器执行如下步骤：

从至少一个生理信号源接收与车辆的使用者相关的生理数据；

接收与所述车辆的操作相关的车辆事件数据；以及

基于所述车辆事件数据和所述生理数据来确定所述使用者的状态。

方案16. 如方案15所述的非瞬态计算机可读介质，其中所述软件指令被进一步构造成基于所述使用者的所述状态确定建议动作。

方案17. 如方案15所述的非瞬态计算机可读介质，其中所述建议动作包括向所述使用者提供通知和提供被构造成改变所述车辆的操作的指令中的至少一个。

方案18. 如方案15所述的非瞬态计算机可读介质，其中确定所述使用者的状态包括提供机器学习模型，该模型被构造成将所述车辆事件数据和与所述使用者相关的所述生理数据相关联。

方案19. 如方案15所述的非瞬态计算机可读介质，其中所述软件指令还被构造成，其中所述使用者的所述状态包括对应使用者睡意水平的至少一个状态和对应使用者紧张水平的第二状态。

方案20. 如方案15所述的非瞬态计算机可读介质，其中所述车辆事件数据至少包括事件代码和对应车辆事件发生时的时间的时间标记。

附图说明

此后将结合下面的附图描述示例性实施例，其中相同的附图标记表示相同的元件；并且附图中：

图1是根据各种示例性实施例的基于车辆的系统的概念概观。

图2是描述根据示例性实施例的方法的流程图。

具体实施方式

本文描述的主题总体涉及驾驶事件数据的使用和驾驶事件数据与可获得的车辆使用者的生理数据的匹配。以这种方式，能更加准确地确定该使用者（例如，驾驶员）的状态并据此行事。在这方面，下面的具体描述本质上仅仅是示例性的，并非用于限定应用和使用。而且，并不意在受在前面的技术领域、背景技术、发明内容或者后面的具体实施方式中出现的任何明示或暗示的理论的约束。当在本文被使用时，术语“模块”指的是专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享的、专用的、或群组）和内存、组合逻辑电路；和/或提供所描述功能的其它合适的部件。

现在参照图1中示出的概念图，根据本文描述的主题的示例性实施例，基于车辆的生理解读系统（或者简称为“系统”）103总体上被构造成接收与车辆100的使用者102（例如，乘客）相关的生理数据121以及与车辆100的操作相关的车辆事件数据122。生理数据121可由一个或多个生理信号源111（下面将更具体地描述）生成、收集、或以其它方式提供。车辆事件数据122包括对应各种车辆事件或状态的信息。尤其是，“车辆事件”是要么发生在车辆的系统内要么与车辆的系统有关的事件，而“驾驶事件”是与驾驶背景－即车辆外部—有关。不失一般性地，这些事件被概念性地表述为事件112，并且在本文可被直接称为“车辆事件”。系统103还被构造成基于车辆事件数据122和生理数据121确定使用者的状态140（例如，“困倦”、“焦躁”等）。系统103还可包括动作确定模块150，其被构造成从生理解读模块130接收使用者的状态140，并且基于使用者的状态确定建议动作160。

虽然在图1中未示出，但应该理解车辆100还可包括各种额外的部件，为了简明起见，这些部件在附图中未示出，例如通常与导航系统一起使用的一个或多个车辆内的集成显示器和用户界面、气候控制系统、和/或车辆娱乐信息系统、等等。

生理信号源111可包括能够感测和监视驾驶员和/或其它乘客的一些生理活动的硬件和软件的任何组合。这种源111可包括各种本领域已知的非侵入性设备，例如包含在车辆内部（例如，驾驶员座椅、方向盘、车内后视镜等）内的传感器、存在于移动设备内的传感器、嵌入在可穿戴技术（手腕佩戴的健康监视器、智能眼镜等）内的传感器和其它这样的传感器。

一个或多个移动设备（一些是可穿戴的，一些就是可携带的）可包含生理传感器111并且可存在与车辆100的内部中，这例如包括一个或多个智能手机、平板电脑、笔记本电脑、功能手机、可穿戴设备、或其它。这样的移动设备可通过一个或多个中间模块、处理器等（未示出），并且通过合适的无线数据连接，例如蓝牙或WiFi，通信联接到模块130。

不管特定车辆内可用的具体信号源111是什么，所感测的生理数据可包括大范围的数据类型，这例如包括心率、EEG数据、氧使用、眼睛运动、皮肤电响应、血流、瞳孔扩大、GSR、和其它这样的数据。

与车辆有关的事件112可包括通过通常包含在车辆100内的可用数据源确定的各种车辆事件和状态中的任一个。与车辆有关的事件112不限于车辆本身的属性，还延伸到与车辆100被操作时的环境有关的事件和状态。即，虽然事件112通常可能包括与车辆100相关的状态（例如位置、速度、制动、加速度、前进方向、车道变化、车辆中有乘客，例如儿童），但它们也包括与交通（“堵塞”、“畅通”等）和环境（“雨”、“雪”、“晴天”、“夜间”、“白天”、“黄昏”等）有关的事件。车辆事件112可每一个都被给予“事件代码”（具有任何合适的格式）并且被作为带有时间标记的与车辆有关的事件数据122通信，该时间标记对应该事件发生的时间。车辆事件的示例包括交通、天气、能见度、道路条件、事故、交通警示、与其它车辆的距离（拥堵比）。其它事件包括正被驾驶员或其它驾驶员执行的动作－例如，超车、加速、制动、车道变换、停车、野蛮驾驶、缓慢驾驶。如本文描述的，这些事件能被匹配到驾驶员和/或乘客的异常生理数据。

可通过外部源（云端数据、车辆间通信）以及车辆100本身内部的源（例如，车的控制器－局域网络）确定和通信与车辆有关的事件112。

模块130包括能够利用车辆事件数据122和生理数据121确定使用者状态140的硬件和软件的任何合适组合。根据各种实施例，确定使用者102的状态140包括提供机器学习模型，该模型被构造成将车辆事件数据与和该使用者相关的生理数据相关联。例如，在一个实施例中，模块130包括特征提取模块131、机器学习模块132、和分析模块133。

特征提取模块131被构造成接收生理数据121并提取与由机器学习模块132执行的训练有关的一组特征。即，机器学习模块132将通常被使用特定特征训练（通过有指导或没有指导的学习），所述特定特征是用来提供合适水平的预测。各种已知的机器学习模型可被采用，这例如包括聚类分析（K最近邻、支持向量机（SVM）、等）和/或可辅助利用与车辆有关的事件数据“标记”生理数据的各种分类技术。因此，分析模块133此时可使用由机器学习模块132产生的结果来确定最可能的使用者状态140。即，在任何特定时间，生理数据12可能“未被标记”，因为它不与特定的使用者状态相关联。模块130因此使用可获得的信息来确定最可能的使用者状态标记（或者是实时的，或者是非实时的），可获得的信息中的一些可远程地存储在服务器上并且可包括与表现出类似行为（例如，与车辆有关的数据和生理数据的相同的大致对应）的其它使用者相关的众包数据。

使用者状态140可具有各种形式并且可代表一定范围的可能的使用者状态。例如，在一些实施例中，可能的使用者状态包括对应使用者睡意水平的状态（例如，从“警觉”到“困倦”），对应使用者紧张水平的状态（例如，从“平静”到“焦躁”，使用者的害怕水平、与超车另一驾驶员的事件相关的状态、和对应被另一驾驶员超车的事件的状态。

建议动作160也可具有各种形式，并且可代表基于使用者的状态140将采取的大范围的可能动作。例如，在一些实施例中建议动作包括给该使用者的通知（例如，声音和/或视觉通知），该通知向使用者102推荐特定动作（例如，“请减速”等），该特定动作在车辆显示器上可见。在一些实施例中，建议动作160包括提供指令，该指令被构造成改变车辆100的操作（例如，应用制动，等）。在另一实施例中，建议动作包括车辆系统对使用者的状态的自动适应。这种适应可牵涉娱乐信息系统（例如，在检测到认知过载状态时减少视觉杂乱、或者在检测到使用者焦虑时播放舒缓音乐）。类似地，适应可牵涉车辆系统，该车辆系统在检测到潜在的危险使用者状态时，例如疲劳、分神、超负荷，可通过修正或接管对车辆的控制（例如，通过自动驾驶能力）来降低风险。

因此在描述了根据一个实施例的生理检测系统之后，图2描述了可与这样的系统一起使用的生理数据检测方法200。首先，如上面具体描述的，该方法包括接收与车辆的使用者相关的生理数据，该生理数据是从存在于该车辆内的至少一个生理信号源接收的（202）。类似地（例如，几乎在同时），接收与该车辆的操作相关的车辆事件数据（204）。基于该车辆事件数据和生理数据，确定使用者状态（206）。确定使用者的状态可包括提供机器学习模型（例如，通过本领域已知的任何合适的有指导或无指导的训练技术训练过的模型），该模型被构造成将车辆事件数据与和该使用者有关的生理数据相关联。此后可确定基于所述使用者的所述状态的建议动作（208）。在一个实施例中，所述建议动作可包括向使用者提供通知和提供被构造成改变车辆操作的指令中的至少一个。

可以想到如上所述的系统的许多示例的使用情况。根据一个示例，该系统可确定当交通量大时该使用者经常变得愤怒或紧张（即，被标记为“焦躁”的使用者状态）。该系统此时可向该使用者建议改变声音系统的频道以提供相对舒缓的音乐。相反，根据另一个示例该系统可推荐播放更加动感的音乐以抵消所感知的使用者的困倦。在另一示例中，该系统可确定特定的即将到来的盲弯（通过使用者的位置和与类似处境的使用者有关的众包数据知道）的突然性很可能吓着该使用者，并且可因此通知该使用者减速可能是合适的。根据另一示例，该系统可形成关于使用者处于何种状态的假设并且该系统可通过依赖于它已经看见的多少事例的不同程度，即更多或更少，所接收的数据的质量，该数据的可靠性等认为这种假设是真实的。一旦该系统形成了假设，它就能通过询问该使用者他或她是否确实处于该系统所认为的状态中而改善该系统关于该假设的肯定性。这可被称为“标记”解决方案。

总之，已经描述的内容是用于使用与车辆有关的事件数据连同生理数据来得到对使用者的状态的更准确的预测的各种系统和方法。以这种方式，所得到的使用者状态信息在车辆操作的背景中更加有用，并且可被用于基于被检测到的信号适应性地做出反应。

虽然已经在前面的具体描述中给出了至少一个示例性实施例，但应当意识到存在大量的变型。还应意识到，一个或多个示例性实施例仅为示例，并且决不是用来限制本公开的范围、应用性、或构造。更确切地说，前面的具体描述将给本领域技术人员提供用于实施一个或多个示例性实施例的方便的路线图。应该理解的是，可在元件的功能和布置方式方面进行各种改变，而不脱离在所附权利要求及其法律等同方式中公开的本公开的范围。

Claims (10)

1.一种用于解读生理信息的方法，包括：

从至少一个生理信号源接收与车辆的使用者相关的生理数据；

接收与所述车辆的操作相关的车辆事件数据；

接收与所述车辆被操作时的背景相关的驾驶背景数据；以及

基于所述车辆事件数据、所述驾驶背景数据、和所述生理数据来确定所述使用者的状态。

2.如权利要求1所述的方法，还包括基于所述使用者的所述状态确定建议动作。

3.如权利要求1所述的方法，其中所述建议动作包括向所述使用者提供通知和提供被构造成改变所述车辆的操作的指令中的至少一个。

4.如权利要求1所述的方法，其中确定所述使用者的状态包括提供机器学习模型，该模型被构造成将所述车辆事件数据和与所述使用者相关的所述生理数据相关联。

5.如权利要求1所述的方法，其中所述使用者的所述状态包括对应使用者睡意水平的至少一个状态和对应使用者紧张水平的第二状态。

6.如权利要求1所述的方法，其中所述车辆事件数据至少包括事件代码和对应车辆事件发生时的时间的时间标记。

7.如权利要求1所述的方法，其中所述至少一个生理信号源被构造成测量心率、氧使用、眼睛运动、流汗和水平中的至少一个。

8.一种基于车辆的生理解读系统，包括：

生理解读模块，其被构造成接收与该车辆的使用者相关的生理数据，接收与该车辆的操作相关的车辆事件数据，以及基于所述车辆事件数据和所述生理数据确定所述使用者的状态；以及

动作确定模块，其被构造成从所述生理解读模块接收所述使用者的所述状态，并且基于所述使用者的所述状态确定建议动作。

9.如权利要求8所述的系统，其中所述建议动作包括向所述使用者提供通知和提供被构造成改变所述车辆的操作的指令中的至少一个。

10.一种承载软件指令的非瞬态计算机可读介质，所述软件指令被构造成指令处理器执行如下步骤：

从至少一个生理信号源接收与车辆的使用者相关的生理数据；

接收与所述车辆的操作相关的车辆事件数据；以及

基于所述车辆事件数据和所述生理数据来确定所述使用者的状态。