CN112590797A - 用于监视驾驶员的装置及方法和包括该装置的系统 - Google Patents

Abstract

本公开提供一种用于监视车辆中的驾驶员的装置，该装置可以包括：处理器，在车辆行驶期间基于感测数据和驾驶员不专心检查逻辑来监视驾驶员状态；以及显示器，显示通知驾驶员不专心检查逻辑的开始的通知。当判断发生危险驾驶情况或在车辆行驶期间基于感测数据判断驾驶员没有注视车辆前方时，处理器可以执行驾驶员不专心检查逻辑。

Description

用于监视驾驶员的装置及方法和包括该装置的系统

相关申请的交叉引用

本申请要求于2019年10月1日提交的申请号为10-2019-0121819的韩国专利申请的优先权和权益，该韩国专利申请的全部内容通过引用并入本文。

技术领域

本公开涉及一种用于监视驾驶员的装置及方法和包括该装置的系统，并且更具体地，涉及一种用于监视自动驾驶期间车辆内的驾驶员的技术。

背景技术

该部分中的陈述仅提供与本公开有关的背景信息，并且可能不构成现有技术。

近来，已经对能够在部分或全部排除驾驶员的操纵的状态下执行自动驾驶的自动驾驶车辆积极地进行了研究和探索。

这样的自动驾驶车辆识别并判断车辆的周围情况并执行驾驶控制，但是不能完全确保驾驶安全。

因此，即使在自动驾驶期间，当由于发生危险情况或者用于自动驾驶的软件或硬件的错误或故障而难以确保驾驶的安全性时，立即将控制权转移给驾驶员以执行驾驶控制。

然而，已经发现，当在驾驶员没有注视前方的状态下驾驶员没有意识到控制权的转移请求时，可能引起大事故。因此，期望监视在自动驾驶期间车辆内的驾驶员是注视车辆前方还是注视旁边(不专心)。

发明内容

做出本公开以解决现有技术中出现的上述问题，同时完整地保持现有技术所实现的优点。

本公开的一方面提供一种用于监视驾驶员的装置及方法和包括该装置的系统，该装置能够通过在车辆行驶期间基于感测数据和驾驶员不专心检查逻辑来监视驾驶员而提高可靠性。

本公开要解决的技术问题不限于上述问题，并且本公开所属领域的技术人员从以下描述中将清楚地理解本文中未提及的任何其它技术问题。

根据本公开的一方面，一种用于监视车辆中的驾驶员的装置可以包括：处理器，在车辆行驶期间基于感测数据和驾驶员不专心检查逻辑来监视驾驶员状态；以及显示器，显示通知驾驶员不专心检查逻辑的开始的通知。当判断发生危险驾驶情况或在车辆行驶期间基于感测数据判断驾驶员没有注视车辆前方时，处理器可以执行驾驶员不专心检查逻辑。

根据一种形式，处理器可以在车辆行驶期间通过利用感测数据、导航信息和天气信息中的至少一个来判断是否发生危险驾驶情况。

根据一种形式，危险驾驶情况可以包括：进入交叉路口的情况、进入学校区域的情况、进入事故多发区域的情况、车辆交通流量变化的情况、车辆突然减速的情况、恶劣天气的情况、开始急转弯的情况和驶近高速公路的情况中的至少一个。

根据一种形式，处理器可以以预设的单位时间间隔判断危险驾驶情况。

根据一种形式，处理器可以根据行驶道路或交通情况来调整单位时间间隔。

根据一种形式，当车辆在高速公路上行驶时，处理器可以增加单位时间间隔，并且当车辆在城市或交通拥堵区域中行驶时，处理器可以减小单位时间间隔。

根据另一形式，处理器可以通过利用触觉信号、听觉信号和视觉信号中的至少一个来通知驾驶员不专心检查逻辑的开始。

根据另一形式，处理器可以基于危险驾驶情况和一般驾驶情况来改变显示器上显示的警告符号的大小、警告符号的移动变化、警告符号的颜色变化、情绪灯的颜色变化、听觉警报声音的类型、听觉警报声音的强度和听觉警报声音的振铃时间中的至少一个。

根据一种形式，处理器可以将用于执行驾驶员不专心检查逻辑的驾驶员不专心检查执行项目输出到显示器。

根据另一形式，显示器可以包括平视显示装置或前部显示装置，并且处理器可以判断在驾驶员注视前方的状态下是否执行驾驶员不专心检查执行项目。

根据另一形式，驾驶员不专心检查执行项目可以包括在驾驶员握住方向盘的同时能够执行的动作。

根据另一形式，当在车辆未处于危险驾驶情况的状态下重复执行驾驶员不专心检查逻辑时，处理器可以请求驾驶员执行与先前执行的驾驶员不专心检查执行项目不同的驾驶员不专心检查执行项目的动作。

根据一种形式，当在危险驾驶情况下执行了驾驶员不专心检查逻辑之后维持危险驾驶情况时，处理器可以通过利用语音请求驾驶员执行驾驶员不专心检查执行项目。

根据一种形式，处理器可以在车辆行驶期间基于感测数据来判断驾驶员是否执行了驾驶员不专心检查执行项目。

根据一种形式，当驾驶员未执行驾驶员不专心检查执行项目时，处理器可以请求将控制权从系统转移到驾驶员。

根据一种形式，当驾驶员未接收控制权时，处理器可以停止自动驾驶功能并且控制道路内减速停止或边路上停止。

根据一种形式，当驾驶员没有注视前方时，处理器可以在确认方向盘的操作之后通过操作天窗或侧窗来向驾驶员提供反馈。

根据本公开的另一形式，一种车辆系统可以包括：感测装置，感测车辆中的驾驶员是否注视车辆前方；以及驾驶员监视装置，在车辆行驶期间基于感测装置的感测数据和驾驶员不专心检查逻辑来感测驾驶员状态。当判断发生危险驾驶情况或在车辆行驶期间基于感测数据判断驾驶员没有注视车辆前方时，驾驶员监视装置可以执行驾驶员不专心检查逻辑。

根据一种形式，感测装置可以包括：照相装置，对驾驶员的面部进行拍照；第一传感器，感测驾驶员握住方向盘；以及第二传感器，识别驾驶员的眼球。

根据本公开的另一形式，一种用于监视驾驶员的方法可以包括：处理器在车辆行驶期间基于感测数据来判断驾驶情况是危险驾驶情况还是正常驾驶情况；在正常驾驶情况下，处理器在车辆行驶期间基于感测数据来判断驾驶员是否注视前方；以及当驾驶员没有注视前方时或当驾驶情况是危险驾驶情况时，处理器执行驾驶员不专心检查逻辑。

根据一种形式，判断驾驶情况是危险驾驶情况还是正常驾驶情况可以包括：在车辆行驶期间通过利用感测数据、导航信息和天气信息中的至少一个来判断驾驶情况是否是危险驾驶情况。

根据另一形式，执行驾驶员不专心检查逻辑可以包括：输出用于执行驾驶员不专心检查逻辑的驾驶员不专心检查执行项目；在车辆行驶期间基于感测数据来判断驾驶员是否执行了驾驶员不专心检查执行项目；当未执行驾驶员不专心检查执行项目时，请求将控制权从系统转移到驾驶员；以及当驾驶员未接收控制权时，停止自动驾驶功能并且控制道路内减速停止或边路上停止。

根据本文提供的描述，其它应用领域将变得显而易见。应理解的是，描述和具体示例仅旨在用于说明的目的，并不旨在限制本公开的范围。

附图说明

为了可以充分理解本公开，现在将参照附图描述通过示例的方式给出的本公开的各种形式，其中：

图1是示出包括用于监视驾驶员的装置(以下称为“驾驶员监视装置”)的车辆系统的组件的框图；

图2是示出根据自动驾驶级别分类的画面的视图；

图3是示出基于摄像头影像监视驾驶员的画面的视图；

图4是示出基于热传感器监视驾驶员的画面的视图；

图5是示出基于红外传感器监视驾驶员的画面的视图；

图6是示出用于在自动驾驶期间监视驾驶员的方法的流程图；以及

图7是示出计算系统的视图。

本文所描述的附图仅出于说明目的，并且不旨在以任何方式限制本公开的范围。

具体实施方式

以下描述本质上仅是示例性的，并不旨在限制本公开、应用或用途。应理解的是，在所有附图中，相应的附图标记表示相同或相应的部件和特征。

在下文中，将参照示例性附图详细描述本公开的一些形式。在将附图标记添加到每个附图的组件时，应专心的是，即使相同或等同的组件显示在其它附图上，也由相同的附图标记表示。此外，在描述本公开的形式时，将排除对公知的特征或功能的详细描述，以免不必要地使本公开的主旨不清楚。

在描述根据本公开的形式的组件时，可以利用诸如“第一”、“第二”、“A”、“B”、“(a)”、“(b)”等的术语。这些术语仅旨在将一个组件与另一组件区分开，并且这些术语不限制组成组件的性质、顺序或次序。另外，除非另有定义，否则本文中利用的包括技术术语或科学术语的所有术语具有与本公开所属领域的技术人员通常理解的含义相同的含义。诸如在通用词典中定义的那些术语的术语将被解释为具有与相关技术领域中的上下文含义相同的含义，并且除非在本申请中明确定义为具有理想或过于形式化的含义，否则将不被解释为具有理想或过于正式的含义。

本公开公开了以下技术：通过利用传感器和用于感测(检查)驾驶员的不专心的逻辑来判断在车辆行驶期间驾驶员是否注视前方，从而提高驾驶员的不专心状态的监视结果的可靠性。

在下文中，将参照图1至图7详细描述本公开的形式。

图1是示出根据本公开的一种形式的包括用于监视驾驶员的装置(以下称为“驾驶员监视装置”)的车辆系统的组件的框图。

参照图1，车辆系统可以包括驾驶员监视装置100和感测装置200。

驾驶员监视装置100可以在自动驾驶期间基于感测数据或用于检查驾驶员的不专心的逻辑(驾驶员不专心检查逻辑)来监视驾驶员状态。换言之，当判断发生危险驾驶情况或基于感测数据判断驾驶员没有注视车辆前方时，驾驶员监视装置100可以执行驾驶员不专心检查逻辑。

为此，驾驶员监视装置100可以包括通信装置110、存储装置120、显示器130和处理器140。

通信装置110是利用各种电子电路实现并通过无线或有线连接传送和接收信号的硬件装置。根据本公开，通信装置110可以通过控制器局域网(CAN)通信或本地互连网络(LIN)通信、以太网通信进行车内通信。

存储装置120可以存储感测装置200的感测结果和由处理器140获取的驾驶情况的判断结果。存储装置120可以利用闪存类型、硬盘类型、微型类型、卡类型(例如，安全数字(SD)卡或极限数字卡)的存储器，随机存取存储器(RAM)，静态RAM(SRAM)，只读存储器(ROM)，可编程ROM(PROM)，电可擦除可编程ROM(EEPROM)，磁性RAM(MRAM)，磁盘型存储器或光盘型存储器中的至少一个存储介质来实现。

显示器130显示自动驾驶情况、用于通知驾驶员不专心检查逻辑的开始的画面、用于执行驾驶员不专心检查逻辑的驾驶员不专心检查执行项目等，以便驾驶员识别。显示器130可以利用平视显示器(HUD)、组合仪表、音频视频导航(AVN)或人机界面(HMI)实现。另外，显示器130可以包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT LCD)、发光二极管(LED)、有机发光二极管(OLED)、有源矩阵OLED(AMOLED)、柔性显示器、弯曲显示器或三维(3D)显示器中的至少一个。其中，一些显示器可以利用配置为透明类型或半透明类型的透明显示器实现，使得从外部观看显示器。另外，显示器130利用包括触摸面板的触摸屏实现，以除了用作输出装置之外还用作输入装置。

处理器140可以与通信装置110、存储装置120和显示器130电连接，可以电控制每个组件，并且可以是执行软件命令的电路。因此，处理器140可以执行下面将描述的各种数据处理和计算。

处理器140可以在车辆行驶期间基于感测数据和驾驶员不专心检查逻辑来监视驾驶员状态。换言之，当判断发生危险驾驶情况或在自动驾驶期间基于感测数据判断驾驶员没有注视前方时，处理器140可以执行驾驶员不专心检查逻辑。

处理器140可以在自动驾驶期间通过利用感测数据、导航信息和天气信息中的至少一个来判断发生危险驾驶情况。在这种情况下，危险驾驶情况可以包括进入交叉路口的情况、进入学校区域的情况、进入事故多发区域的情况、车辆交通流量变化的情况、由于车辆驶入而导致的车辆突然减速的情况、恶劣天气的情况、开始急转弯(例如，急转弯驾驶)的情况和驶近高速公路的情况中的至少一个。

处理器140可以以预设的单位时间间隔判断危险驾驶情况，并可以根据行驶道路或交通情况来调整单位时间间隔。换言之，当车辆在高速公路上行驶时，处理器140可以将单位时间间隔设置为较长，而当车辆在城市中行驶或处于交通拥堵状态时，处理器140可以将单位时间间隔设置为较短。例如，即使车辆在高速公路上行驶，当交通状况拥挤时，处理器140可以将单位时间间隔设置为与在城市中行驶一样较短。

处理器140可以通过利用触觉信号、听觉信号和视觉信号中的至少一个来通知驾驶员不专心检查逻辑的开始。处理器140可以根据危险驾驶情况和一般驾驶情况来改变显示器130上显示的警告符号的大小、警告符号的移动变化、警告符号的颜色变化、情绪灯的颜色变化、听觉警报声音的类型、听觉警报声音的强度和听觉警报声音的振铃时间中的至少一个。

处理器140可以将用于执行驾驶员不专心检查逻辑的驾驶员不专心检查执行项目输出到显示器130。在这种情况下，显示器130可以是位于车辆前部的平视显示装置(HUD)或前部显示装置。因此，处理器140可以判断在驾驶员注视前方的状态下是否执行驾驶员不专心检查执行项目。在这种情况下，驾驶员不专心检查执行项目可以包括在驾驶员握住方向盘的同时能够执行的动作。

当在车辆未处于危险驾驶情况的状态下重复执行驾驶员不专心检查逻辑时，处理器140可以请求驾驶员执行与先前执行的驾驶员不专心检查执行项目不同的驾驶员不专心检查执行项目的动作。

当在危险驾驶情况下执行了驾驶员不专心检查逻辑之后维持危险驾驶情况时，处理器140可以通过利用语音请求驾驶员执行驾驶员不专心检查执行项目。

处理器140可以在车辆行驶期间基于感测数据来判断驾驶员是否执行了驾驶员不专心检查执行项目。

当驾驶员未执行驾驶员不专心检查执行项目时，处理器140可以请求将控制权从系统转移到驾驶员。

当驾驶员未接收控制权时，处理器140可以停止自动驾驶功能并且可以控制道路内减速停止或边路上停止。

处理器140可以在确认方向盘的操作之后通过操作天窗或侧窗来提供反馈，以使驾驶员清醒。

感测装置200可以包括用于对驾驶员的面部进行拍照的诸如摄像头的照相装置、用于感测驾驶员握住方向盘的第一传感器以及用于识别驾驶员的眼球的第二传感器。

第一传感器可以包括用于感测方向盘产生的热的热传感器、用于感测方向盘的电容的电容式传感器或者用于感测扭矩的变化的扭矩传感器。第一传感器可以包括用于感测驾驶员是否用其手握住方向盘的所有各种传感器。

第二传感器可以包括用于感测眼球的移动的红外传感器或电场传感器，第二传感器可以包括用于感测眼球的所有各种传感器。

另外，感测装置200可以包括用于感测天气的雨量传感器或照度传感器。

如上所述，利用现有传感器来监视驾驶员的系统形式需要额外的传感器成本并且在传感器结果和操作可靠性方面存在问题，而本公开可以在不需要额外的材料成本的情况下提高驾驶员的监视结果的可靠性并且可以扩展反馈中要控制的目标。例如，当判断驾驶员没有注视前方与驾驶员的困倦相关联时，在确认方向盘的操作之后操作天窗或侧窗，从而使驾驶员清醒。

图2是示出根据本公开的一种形式的根据自动驾驶级别分类的画面的视图。

如图2所示，可以将自动驾驶级别分类为级别0、级别1、级别2、级别3、级别4和级别5来定义自动驾驶级别。级别0是非自动级别，是驾驶员一直驾驶的模式。级别1是驾驶员辅助级别，系统辅助转向或者减速或加速时的控制。在这种情况下，驾驶员在级别0和级别1必须保持用手状态。级别2是部分自动级别，在该级别中，系统执行转向和减速或加速时的控制，并且驾驶员可以处于放手状态。

级别3是有条件的自动级别，在该级别中，驾驶员仅在危险驾驶情况下才参与，并且必须保持驾驶员注视前方的状态。级别4是高自动级别，是不需要驾驶员参与的状态，级别5是全自动级别，是不需要驾驶员的级别。

本公开提供在有条件的自动级别即级别3中监视驾驶员是否注视前方的技术，在该技术中，一次基于摄像头等的传感器执行监视，并且当发生危险驾驶情况或感测到驾驶员未注视前方时，二次执行驾驶员不专心(分心)检查逻辑，从而双重执行驾驶员监视。因此，可以提高监视结果的可靠性。

图3是示出根据本公开的一种形式的基于摄像头影像监视驾驶员的画面的视图，图4是示出根据本公开的一种形式的基于热传感器监视驾驶员的画面的视图，图5是示出根据本公开的一种形式的基于红外传感器监视驾驶员的画面的视图。

如图3所示，当从摄像头的影像中识别出驾驶员的面部时，驾驶员监视装置100可以通过检测面部的角度和眼球的瞳孔的方向来判断驾驶员是否注视前方。然而，设置多个摄像头在成本和安装空间上受到限制。

如图4所示，驾驶员监视装置100可以通过利用内置在方向盘401中的热传感器402和403来判断驾驶员是否握住方向盘401，并且当驾驶员握住方向盘401时，驾驶员监视装置100可以判断驾驶员注视前方。但是，由于驾驶员具有不同的握持位置和习惯而可能导致感测错误，并且可能导致放手的自动驾驶系统被识别为处于用手状态的异常情况。

如图5所示，驾驶员监视装置100可以通过利用红外传感器识别驾驶员的眼球来判断驾驶员是否注视前方。附图标记501是检测眼睛的直径的示例，附图标记502是通过检测眼睛的轮廓来判断驾驶员是否注视前方的示例。然而，当驾驶员戴墨镜或眼镜时，根据光线和折射率可能导致感测错误，并且因为驾驶员的眼球具有各种形状，所以眼球的识别率可能改变。

因此，根据本公开，一次通过摄像头、热传感器或红外传感器来监视驾驶员是否注视前方。然后，当在执行了一次监视之后，感测到发生危险驾驶情况或感测到驾驶员未注视前方时，二次执行驾驶员不专心(分心)检查逻辑，从而双重执行驾驶员监视。因此，可以提高监视结果的可靠性。

在下文中，将参照图6详细描述根据本公开的一种形式的用于在自动驾驶期间监视驾驶员的方法。图6是示出用于在自动驾驶期间监视驾驶员的方法的流程图。

在下文中，假定图1的驾驶员监视装置100执行图6的过程。另外，在下面参照图6的描述中，可以理解的是，被描述为由驾驶员监视装置100执行的操作由驾驶员监视装置100的处理器140控制。

参照图6，驾驶员监视装置100首先基于摄像头影像执行驾驶员监视以监视驾驶员(S101)。

因此，驾驶员监视装置100判断当前情况是否是正常驾驶情况(S102)。在当前情况不是正常驾驶情况时，驾驶员监视装置100判断危险驾驶情况(S105)。

在这种情况下，正常驾驶情况不是危险驾驶情况，并且驾驶员监视装置100可以通过利用诸如照度传感器、车速传感器或雨量传感器的感测装置200、导航信息、信息娱乐天气信息等来判断当前情况是否是危险驾驶情况。在这种情况下，危险驾驶情况可以包括进入交叉路口的情况、进入学校区域的情况、进入事故多发区域的情况、例如在公路行驶中从100kph减速到60kph的情况的改变车辆交通流量的情况、由于另一车辆驶入而突然减速的情况、通过雨量传感器和照度传感器感测到突然变为多云天气的情况、接收到恶劣天气信息的情况、基于导航信息开始驶入车辆急转弯之前的情况和驶近高速公路的情况中的至少一个。

在这种情况下，驾驶员监视装置100可以以预设的单位时间间隔判断当前情况是否是正常驾驶情况。另外，当车辆在高速公路上行驶时，驾驶员监视装置100可以将周期(单位时间间隔)设置为较长来判断车辆是否处于正常驾驶情况，并且在城市中行驶时，驾驶员监视装置100可以将周期(单位时间间隔)设置为较短。另外，当车辆能够执行更高级别的自动驾驶功能时，为了与车辆的自动驾驶级别相适应，驾驶员监视装置100可以将周期调整为较长来判断当前情况是否是正常驾驶情况。

当在步骤S102中当前情况是正常驾驶情况时，驾驶员监视装置100基于从摄像头获得的影像数据来判断驾驶员是否注视前方(S103)。

在驾驶员注视前方的状态下，驾驶员监视装置100可以利用摄像头连续监视驾驶员。

相反，当基于摄像头影像数据判断驾驶员未注视前方时，驾驶员监视装置100可以执行驾驶员不专心(分心)检查逻辑(S104)。

换言之，当在基于摄像头的影像监视驾驶员中感测到驾驶员的异常不专心时，执行驾驶员不专心(分心)检查逻辑以在两个阶段监视驾驶员。

在当前情况是正常驾驶情况但是驾驶员未注视前方时，或者在当前情况是危险驾驶情况时，驾驶员监视装置100可以执行驾驶员不专心(分心)检查逻辑(S104)。

驾驶员监视装置100通知驾驶员不专心(分心)检查逻辑的开始(S106)，并输出用于检查驾驶员不专心的驾驶员不专心检查执行项目(S107)。在这种情况下，驾驶员监视装置100可以将驾驶员不专心检查执行项目输出到车辆前部的HUD或前部显示器，以便判断在驾驶员注视前方的情况下驾驶员是否正常执行驾驶员不专心检查执行项目。

在这种情况下，驾驶员监视装置100将驾驶员不专心(分心)检查逻辑的开始通知给驾驶员，使得驾驶员有时间准备驾驶员不专心(分心)检查逻辑。驾驶员监视装置100可以以显示器130上的弹出消息的形式或者听觉或触觉的形式通知驾驶员不专心(分心)检查逻辑的开始。另外，驾驶员监视装置100可以通过利用触觉信号(座椅或转向振动)、听觉信号和视觉信号(通过AVN、HUD或情绪灯的输出)中的至少一个来通知驾驶员不专心(分心)检查逻辑的开始。

此外，驾驶员监视装置100可以通过区分正常驾驶情况和危险驾驶情况来为驾驶员提供信息，从而驾驶员获知当前驾驶情况。

例如，驾驶员监视装置100可以改变显示器130上显示的警告符号的大小、警告符号的移动变化、警告符号的颜色区别、情绪灯的颜色变化(绿色→红色)、听觉警报声音的类型、听觉警报声音的强度或听觉警报声音的振铃时间，以便驾驶员直观地识别当前驾驶情况。

驾驶员监视装置100可以在显示器130上显示驾驶员不专心检查执行项目。驾驶员不专心检查执行项目可以包括驾驶员在握住方向盘的同时执行的动作。另外，驾驶员不专心检查执行项目可以包括当驾驶员的手位于方向盘上并且驾驶员的视线面对HUD时采取的动作。例如，当驾驶员的手放在方向盘上并且驾驶员的视线面对HUD时执行的动作可以包括通过麦克风接收刮水器操作、音量控制或当前速度来识别语音输入信息的功能，通过方向盘上的按钮执行的诸如亮灯功能的功能或通过多功能开关执行的功能。

可选地，当在正常驾驶情况下周期性地重复二次驾驶员不专心检查逻辑时，驾驶员监视装置100需要与在显示器130上最初输出的动作不同的动作，使得驾驶员专注于驾驶。另外，驾驶员监视装置100可以改变情绪灯的颜色和听觉警报声音以提高意识。

另外，当在危险驾驶情况下首先执行一次二次驾驶员不专心检查逻辑，然后在判断维持危险驾驶情况时需要附加确定时，可以通过仅利用语音结果以与驾驶所需的部分分开来执行下一个二次驾驶员不专心检查逻辑，从而不中断驾驶。例如，驾驶员不专心检查执行项目可以被设置为“使该声音响三遍”或“将词语‘前面’讲三遍”。

因此，驾驶员监视装置100可以判断是否正常执行驾驶员不专心检查执行项目(S108)。当未正常执行驾驶员不专心检查执行项目时，驾驶员监视装置100请求系统将控制权转移到驾驶员(S109)。在这种情况下，驾驶员监视装置100可以通过利用摄像头的影像来判断在预设时间内是否正常执行驾驶员不专心检查执行项目。

例如，在请求“刮水器操作”作为驾驶员不专心检查执行项目的情况下，当驾驶员正常执行刮水器操作时，驾驶员监视装置100判断正常执行驾驶员不专心检查执行项目。当未正常执行刮水器操作时，驾驶员监视装置100判断未正常执行驾驶员不专心检查执行项目。

此后，当控制权从系统正常转移到驾驶员时，自动驾驶终止。因此，驾驶员监视装置100可以终止监视驾驶员。

相反，当在预设时间内控制权未从系统正常转移到驾驶员时，驾驶员监视装置100判断驾驶员未处于正常状态，从而判断自动驾驶功能不能再被激活，并且对最小化危险的驾驶(道路内减速停止或边路上停止)执行控制操作。例如，根据通过利用至少两种方式执行驾驶员不专心检查执行项目所获得的结果，当在180秒或更长时间未感测到驾驶员的动作时，听觉警报响15秒，并启动控制权转移请求(系统→驾驶员)。

如上所述，根据本公开，在不添加物理传感器的情况下将驾驶员不专心检查执行项目输出给驾驶员，并且检查驾驶员是否正常执行驾驶员不专心检查执行项目，从而以更高的可靠性监视驾驶员。

另外，根据本公开，当驾驶员没有注视前方时，可以扩展用于反馈的控制目标，诸如天窗以及方向盘。

图7示出了根据本公开的一种形式的计算系统。

参照图7，计算系统1000可以包括经由总线1200彼此连接的至少一个处理器1100、存储器1300、用户界面输入装置1400、用户界面输出装置1500、存储装置1600和网络接口1700。

处理器1100可以是中央处理单元(CPU)或处理存储在存储器1300和/或存储装置1600中的指令的半导体装置。存储器1300和存储装置1600可以包括各种类型的易失性或非易失性存储介质。例如，存储器1300可以包括ROM(只读存储器)1310和RAM(随机存取存储器)1320。

因此，结合本公开公开的形式描述的方法或算法的操作可以直接实施为由处理器1100执行的硬件、软件模块或者硬件和软件模块的组合。软件模块可以驻留在诸如RAM、闪存、ROM、可擦除可编程ROM(EPROM)、电EPROM(EEPROM)、寄存器、硬盘、可移除磁盘或光盘-ROM(CD-ROM)的存储介质(即，存储器1300和/或存储装置1600)上。

示例性存储介质可以接合到处理器1100。处理器1100可以从存储介质中读取信息并且可以将信息记录在存储介质中。可选地，存储介质可以与处理器1100集成。处理器1100和存储介质可以驻留在专用集成电路(ASIC)中。ASIC可以驻留在用户终端内。可选地，处理器和存储介质可以作为驾驶员终端的单独的组件而驻留。

上文中，尽管参照示例性形式和附图描述了本公开，但是本公开不限于此，而是本公开所属领域的技术人员可以在不脱离所附权利要求书要求保护的本公开的宗旨和范围的情况下对本公开进行各种修改和改变。

因此，提供本公开的示例性形式是为了解释本公开的宗旨和范围，而不是限制本公开的宗旨和范围，从而本公开的宗旨和范围不受这些形式的限制。本公开的范围应基于所附权利要求书来解释，并且在等同于权利要求书的范围内的所有技术思想都应包括在本公开的范围内。

如上所述，根据本技术，可以通过在车辆行驶期间基于感测数据和驾驶员不专心检查逻辑来监视驾驶员，从而提高驾驶员监视结果的可靠性。

此外，可以提供通过本公开直接或间接理解的各种效果。

上文中，尽管参照示例性形式和附图描述了本公开，但是本公开不限于此，而是本公开所属领域的技术人员可以在不脱离本公开的宗旨和范围的情况下对本公开进行各种修改和改变。

Claims (22)

1.一种用于监视车辆中的驾驶员的装置，所述装置包括：

处理器，在车辆行驶期间基于感测数据和驾驶员不专心检查逻辑来监视驾驶员状态；以及

显示器，显示通知所述驾驶员不专心检查逻辑的开始的通知，

其中当判断发生危险驾驶情况或在所述车辆行驶期间基于所述感测数据判断所述驾驶员没有注视所述车辆前方时，所述处理器进一步执行所述驾驶员不专心检查逻辑。

2.根据权利要求1所述的装置，其中，

所述处理器在所述车辆行驶期间通过利用所述感测数据、导航信息和天气信息中的至少一个来判断是否发生所述危险驾驶情况。

3.根据权利要求1所述的装置，其中，

所述危险驾驶情况包括：

进入交叉路口的情况、进入学校区域的情况、进入事故多发区域的情况、车辆交通流量变化的情况、车辆突然减速的情况、恶劣天气的情况、开始急转弯的情况和驶近高速公路的情况中的至少一个。

4.根据权利要求1所述的装置，其中，

所述处理器以预设的单位时间间隔判断所述危险驾驶情况。

5.根据权利要求4所述的装置，其中，

所述处理器基于行驶道路或交通情况来调整所述预设的单位时间间隔。

6.根据权利要求5所述的装置，其中，

当所述车辆在高速公路上行驶时，所述处理器增加所述预设的单位时间间隔，并且

当所述车辆在城市或交通拥堵区域中行驶时，所述处理器减小所述预设的单位时间间隔。

7.根据权利要求1所述的装置，其中，

所述处理器通过利用触觉信号、听觉信号和视觉信号中的至少一个来通知所述驾驶员不专心检查逻辑的开始。

8.根据权利要求1所述的装置，其中，

所述处理器基于所述危险驾驶情况和一般驾驶情况来改变所述显示器上显示的警告符号的大小、所述警告符号的移动变化、所述警告符号的颜色变化、情绪灯的颜色变化、听觉警报声音的类型、所述听觉警报声音的强度和所述听觉警报声音的振铃时间中的至少一个。

9.根据权利要求1所述的装置，其中，

所述处理器将用于执行所述驾驶员不专心检查逻辑的驾驶员不专心检查执行项目输出到所述显示器。

10.根据权利要求9所述的装置，其中，

所述显示器包括平视显示装置或前部显示装置，并且

所述处理器判断在所述驾驶员注视前方的状态下是否执行所述驾驶员不专心检查执行项目。

11.根据权利要求9所述的装置，其中，

所述驾驶员不专心检查执行项目包括在所述驾驶员握住方向盘的同时能够执行的动作。

12.根据权利要求11所述的装置，其中，

当在所述车辆未处于所述危险驾驶情况的状态下重复执行所述驾驶员不专心检查逻辑时，所述处理器请求所述驾驶员执行与先前执行的驾驶员不专心检查执行项目不同的驾驶员不专心检查执行项目的动作。

13.根据权利要求11所述的装置，其中，

当在所述危险驾驶情况下执行了所述驾驶员不专心检查逻辑之后维持所述危险驾驶情况时，所述处理器通过利用语音请求所述驾驶员执行驾驶员不专心检查执行项目。

14.根据权利要求11所述的装置，其中，

所述处理器在所述车辆行驶期间基于所述感测数据来判断所述驾驶员是否执行了所述驾驶员不专心检查执行项目。

15.根据权利要求11所述的装置，其中，

当所述驾驶员未执行所述驾驶员不专心检查执行项目时，所述处理器请求将控制权从系统转移到所述驾驶员。

16.根据权利要求15所述的装置，其中，

当所述驾驶员未接收所述控制权时，所述处理器停止自动驾驶功能并且控制道路内减速停止或边路上停止。

17.根据权利要求1所述的装置，其中，

当所述驾驶员没有注视前方时，所述处理器在确认方向盘的操作之后通过操作天窗或侧窗来向所述驾驶员提供反馈。

18.一种车辆系统，包括：

感测装置，感测车辆中的驾驶员是否注视所述车辆前方；以及

驾驶员监视装置，在车辆行驶期间基于所述感测装置的感测数据和驾驶员不专心检查逻辑来感测驾驶员状态，

其中当判断发生危险驾驶情况或在所述车辆行驶期间基于所述感测数据判断所述驾驶员没有注视所述车辆前方时，所述驾驶员监视装置执行所述驾驶员不专心检查逻辑。

19.根据权利要求18所述的车辆系统，其中，

所述感测装置包括：

照相装置，对所述驾驶员的面部进行拍照；

第一传感器，感测所述驾驶员握住方向盘；以及

第二传感器，识别所述驾驶员的眼球。

20.一种用于监视车辆中的驾驶员的方法，所述方法包括：

处理器在车辆行驶期间基于感测数据来判断驾驶情况是危险驾驶情况还是正常驾驶情况；

在所述正常驾驶情况下，所述处理器在所述车辆行驶期间基于所述感测数据来判断所述驾驶员是否注视所述车辆前方；以及

当所述驾驶员没有注视前方时或当所述驾驶情况是所述危险驾驶情况时，所述处理器执行驾驶员不专心检查逻辑。

21.根据权利要求20所述的方法，其中，

判断驾驶情况是危险驾驶情况还是正常驾驶情况包括：

在所述车辆行驶期间通过利用所述感测数据、导航信息和天气信息中的至少一个来判断所述驾驶情况是否是所述危险驾驶情况。

22.根据权利要求20所述的方法，其中，

执行驾驶员不专心检查逻辑包括：

输出用于执行所述驾驶员不专心检查逻辑的驾驶员不专心检查执行项目；

在所述车辆行驶期间基于所述感测数据来判断所述驾驶员是否执行了所述驾驶员不专心检查执行项目；

当未执行所述驾驶员不专心检查执行项目时，请求将控制权从系统转移到所述驾驶员；以及

当所述驾驶员未接收所述控制权时，终止自动驾驶功能并且控制道路内减速停止或边路上停止。

Images