CN113879319B - 困倦征兆通知系统 - Google Patents

Abstract

本公开提供困倦征兆通知系统，减少在不必要的时机进行通知以减少厌烦感。困倦征兆通知系统具备检测作为车辆的驾驶员的状态的驾驶员状态的驾驶员监视器。困倦征兆通知系统的控制装置根据驾驶员状态推测驾驶员的困倦等级。进而，累计对应于推测出的困倦等级而规定的值。在累计值超过预定的阈值的情况下，判定为驾驶员有困倦征兆，并对驾驶员进行困倦征兆通知。

Description

困倦征兆通知系统

技术领域

本发明涉及通知车辆的驾驶员有困倦征兆的技术。

背景技术

专利文献1公开了一种能够以多个水准来检测状态的状态检测装置。在该状态检测装置中，在针对操作量的出现频度中规定多个水准，并使用与各个水准对应的阈值，能够检测多个状态等级。

专利文献2公开了一种用于检测车辆的驾驶者在驾驶中的困倦的困倦检测装置。在该困倦检测装置中，在发生驾驶中断的情况等进行重新设定困倦的判定阈值的处理的情况下，考虑必要性而判断是否进行重新设定，从而能够避免进行不必要的阈值的重新设定。

另外，作为表示本技术领域的技术水平的文献，已知以下的专利文献3。

现有技术文献

专利文献

专利文献1：日本特开2018-116650号公报

专利文献2：日本特开2016-202419号公报

专利文献3：日本特开平7-108848号公报

发明内容

在根据驾驶员的状态推测困倦的情况下，由于驾驶中的驾驶员进行复合动作，难以时刻可靠地推测驾驶员的困倦，存在引起误推测的可能性。因此，在将推测的困倦达到某一定的等级作为条件判定为驾驶员有困倦征兆而提供困倦征兆通知时，存在伴随误推测而在不必要的时机进行困倦征兆通知，从而使驾驶员感到厌烦的可能性。

本发明的第1个目的在于提供一种减少在不必要的时机对驾驶员进行困倦征兆通知以减少厌烦感的困倦征兆通知系统。

本发明涉及对出现困倦征兆的驾驶员进行困倦征兆通知的困倦征兆通知系统。困倦征兆通知系统具备驾驶员监视器和控制装置。驾驶员监视器是检测作为驾驶员的状态的驾驶员状态的装置。控制装置是根据驾驶员状态而请求困倦征兆通知的装置。

控制装置执行：困倦等级推测处理，根据驾驶员状态检测驾驶员的困倦等级；以及累计处理，累计困倦分数。困倦等级表示驾驶员的困倦的程度且根据困倦的程度而被分类。困倦分数是对应于通过困倦等级推测处理推测出的困倦等级而规定的值。

控制装置还执行在通过累计处理得到的累计值超过预定的阈值的情况下判定为驾驶员有困倦征兆的处理。

在困倦等级推测处理中，利用控制装置执行的困倦等级的推测是通过从驾驶员的状态检测困倦动作进行的。困倦动作是与各个困倦等级关联起来的驾驶员的动作。在检测到困倦动作的情况下，将检测出的困倦动作所关联的困倦等级推测为驾驶员的困倦等级。

控制装置也可以构成为：在通过检测困倦动作推测驾驶员的困倦等级的情况下，最优先检测表示无困倦的困倦等级的困倦动作，之后，按照困倦的程度从高到低的困倦等级的顺序依次检测困倦动作。

控制装置也可以存储推测出的困倦等级的频度分布，根据频度分布动态地变更对应于困倦等级而规定的困倦分数。

或者，控制装置也可以对推测出的困倦等级提供可靠度，根据可靠度变更在累计处理中累计的困倦分数。

根据本发明，累计与推测出的驾驶员的困倦等级对应地提供的困倦分数，并在累计值超过预定的阈值的情况下提供困倦征兆通知。由此，能减少在不必要的时机对驾驶员进行困倦征兆通知，从而减少厌烦感。

进而，通过提供推测出的困倦等级的频度分布、可靠度，根据这些频度分布、可靠度来变更累计的困倦分数的值，能够考虑由于驾驶员的个体差异、驾驶环境等的影响引起的困倦动作的偏差，能够提高推测的精度。

附图说明

图1是示出本实施方式所涉及的困倦征兆通知系统的结构例的框图。

图2是示出与各个困倦等级关联起来的困倦动作的例子的表。

图3是示出本实施方式所涉及的由困倦征兆通知系统推测驾驶员的困倦等级的情况的决策树的图。

图4是示出对应于困倦等级而规定的困倦分数的例子的图。

图5是示出本实施方式所涉及的由困倦征兆通知系统执行的困倦征兆通知程序的概要的图。

图6是示出本实施方式所涉及的利用困倦征兆通知系统执行的处理的流程图。

图7是示出本实施方式所涉及的困倦征兆通知系统的频度分布的图。

(符号说明)

10：困倦征兆通知系统；20：驾驶员监视器；30：HMI单元；31：视觉设备；32：扬声器；33：输入装置；40：座椅装置；50：控制装置；51：存储器；52：处理器；DRS：驾驶员状态信息；FBP：困倦征兆通知程序。

具体实施方式

以下，参照附图，说明本发明的实施方式。

1.结构例

图1是示出本实施方式所涉及的困倦征兆通知系统10的结构例的框图。困倦征兆通知系统10包括驾驶员监视器20、HMI(Human Machine Interface)单元30、座椅装置40以及控制装置50。驾驶员监视器20、HMI单元30以及座椅装置40通过CAN(Controller AreaNetwork，控制器局域网)等车载网络与控制装置50连接。

驾驶员监视器20搭载于车辆，检测驾驶员的状态(以下还称为“驾驶员状态”)。驾驶员监视器20设置于驾驶席的前方的能够对驾驶者的面部进行拍摄的场所，例如转向机柱的上部、车内后视镜的附近。由驾驶员监视器20检测的驾驶员状态例如是驾驶员的眼睛的睁开程度(以下还称为“睁眼度”)、嘴的张开程度(以下还称为“开口度”)、面部的朝向等面部的表情。将这些检测到的驾驶员状态作为驾驶员状态信息DRS存储到后述存储器51。

控制装置50具备存储器51以及处理器52。控制装置50典型地是搭载于车辆的ECU(Electronic Control Unit，电子控制单元)。存储器51包括：RAM(Random Access Memory，随机存取存储器)，临时存储数据；以及ROM(Read Only Memory，只读存储器)，保存可由处理器52执行的控制程序、与控制程序关联的各种数据。在存储器51中，作为数据，至少存储有驾驶员状态信息DRS。另外，在存储器51中，作为程序，至少存储有困倦征兆通知程序FBP。处理器52从存储器51读出控制程序、数据并执行程序，生成各种控制信号。

处理器52至少从存储器51读出驾驶员状态信息DRS以及困倦征兆通知程序FBP并执行程序。由此，控制装置50根据驾驶员状态信息DRS判定驾驶员的困倦征兆，并向HMI单元30或者座椅装置40输出困倦征兆通知请求。

HMI单元30是向驾驶员输出信息、并且从驾驶员受理信息的输入的接口。HMI单元30包括视觉设备31、扬声器32以及输入装置33。

视觉设备31例如是设置于内装仪表板的显示器、抬头显示器(HUD：Head-UpDisplay)、发光装置(LED等)。

扬声器32是输出声音的装置。输入装置33例如是触摸面板、按钮、麦克风等。

HMI单元30还作为困倦征兆通知装置发挥功能，该困倦征兆通知装置从控制装置50接收困倦征兆通知请求，从而利用显示、声音对驾驶员通知困倦征兆。

利用HMI30执行的困倦征兆通知通过在显示器或HUD上显示文本消息(例：“不困吗？”)、在显示器或HUD或发光装置上进行闪烁显示、利用扬声器输出声音消息(例：“不困吗？”)等，从而促使驾驶员的清醒。

座椅装置40是与驾驶员就坐的驾驶席关联的装置。座椅装置40例如是使驾驶席的安全带振动的致动器。作为其他例子，座椅装置40也可以具有通过使驾驶席的椅背以及坐垫内的气囊膨胀而按压驾驶者的背部、大腿部的座椅提醒功能。

座椅装置40还作为困倦征兆通知装置发挥功能，该困倦征兆通知装置从控制装置50接收困倦征兆通知请求，从而利用振动、按压这样的刺激对驾驶员通知困倦征兆。

利用座椅装置40执行的困倦征兆通知，通过以使安全带振动的方式使致动器工作、或者使上述座椅提醒功能工作，从而促使驾驶员清醒。

2.困倦等级

在此，说明作为困倦征兆通知的前提的困倦等级。困倦等级是表示驾驶员的困倦的程度。例如如图2所示，按照困倦的程度从小到大的顺序，困倦等级能够分类为D0至D4这5个阶段的等级。

困倦等级D0是表示驾驶员是看起来不困的状态的等级，困倦等级D1是表示驾驶员是看起来有点困的状态的等级，困倦等级D2是表示驾驶员是看起来困了的状态的等级，困倦等级D3是表示驾驶员是看起来相当困的状态的等级，困倦等级D4是表示驾驶员是看起来非常困的状态的等级。

驾驶员的困倦等级能够通过从预定时间(例：10秒)的期间(以下还被称为“推测对象时间”)的驾驶员状态信息DRS检测与各个困倦等级关联起来的困倦动作来推测。图2例示出与困倦等级关联起来的困倦动作。通过事先的讨论、研究而将这些困倦动作与各个困倦等级关联起来。

困倦动作的检测通过分析包含于驾驶员状态信息DRS的睁眼度、开口度、面部的朝向等数据来进行。例如，参照睁眼度的数据，根据在推测对象时间内眨眼(例：在短时间内睁眼度急剧变化)现象发生预定次数以上，检测作为困倦等级D2的困倦动作的“频繁眨眼”。作为其他例子，参照开口度的数据，根据预定值以上的开口度持续预定时间以上，检测作为困倦等级D3的困倦动作的“长时间打哈欠”。

3.困倦等级的推测

通过针对每个困倦等级检测困倦动作，进行驾驶员的困倦等级的推测。图3是示出在本实施方式中通过困倦征兆通知程序FBP推测驾驶员的困倦等级的情况下的决策树的图。

在步骤S1中，判定是否检测到困倦等级D0的困倦动作。在检测到的情况下(步骤S1；“是”)，将驾驶员的困倦等级推测为D0。在未检测到的情况下(步骤S1；“否”)，进入到步骤S2。

在步骤S2中，判定是否检测到困倦等级D4的困倦动作。在检测到的情况下(步骤S2；“是”)，将驾驶员的困倦等级推测为D4。在未检测到的情况下(步骤S2；“否”)，进入到步骤S3。

在步骤S3中，判定是否检测到困倦等级D3的困倦动作。在检测到的情况下(步骤S3；“是”)，将驾驶员的困倦等级推测为D3。在未检测到的情况下(步骤S3；“否”)，进入到步骤S4。

在步骤S4中，判定是否检测到困倦等级D2的困倦动作。在检测到的情况下(步骤S4；“是”)，将驾驶员的困倦等级推测为D2。在未检测到的情况下(步骤S4；“否”)，进入到步骤S5。

在步骤S5中，判定是否检测到困倦等级D1的困倦动作。在检测到的情况下(步骤S5；“是”)，将驾驶员的困倦等级推测为D1。在未检测到的情况下(步骤S5；“否”)，将驾驶员的困倦等级推测为D0。

如图3所示，针对每个困倦等级进行困倦动作的检测，在检测到作为对象的困倦等级的困倦动作的时间点，将作为该对象的困倦等级推测为驾驶员的困倦等级。因此，例如，在未检测到困倦等级D0以及D4的困倦动作而以困倦等级D3为对象而检测到困倦动作的情况下，不检测困倦等级D1以及D2的困倦动作，而将驾驶员的困倦等级推测为D3。另外，在未检测到任意的困倦等级的困倦动作的情况下，将驾驶员的困倦等级推测为D0。

如图3所示，本实施方式所涉及的处理器52最优先地进行困倦等级D0的困倦动作的检测，之后按照困倦等级从高到低的顺序，进行困倦动作的检测。通过这样优先检测极端的困倦等级的困倦动作，能够减少不当地推测驾驶员的困倦等级的情形。

4.困倦度的计算

接下来，说明困倦度。处理器52根据以一定的控制周期推测的驾驶员的困倦等级，取得困倦分数。

困倦分数是对应于推测出的驾驶员的困倦等级而规定的值，例如规定为如图4所示。在图4所示的情况下，对困倦等级D0设定-1的困倦分数。对困倦等级D1设定+1的困倦分数。对困倦等级D2设定+2的困倦分数。对困倦等级D3设定+3的困倦分数。对困倦等级D4设定+5的困倦分数。即，困倦等级越高，设定越大的值的困倦分数。此外，对应于困倦等级而规定的困倦分数也可以根据状况变更。

在图4所示的情况下，困倦等级D0的困倦分数是-1，所以其累计值可能为负的值。在累计值为负的值的情况下，累计值被设为零。另外，程序刚刚开始之后的累计值也是零。

如图5所示，处理器52依次累计以一定的周期取得的困倦分数，将其累计值计算为困倦度D。困倦度D是表示驾驶者的困倦的强度的参数。但是，在累计困倦分数的结果为负的值的情况下，困倦度D被设为零。

对困倦度D设定有阈值。在困倦度D超过预定的阈值的情况下(在图中时间td)，处理器52判定为检测到驾驶者的困倦征兆。即，处理器52根据困倦的等级的推移综合地判定困倦征兆。此外，阈值的值可任意地设定。但是，为了提高防止瞌睡驾驶的可靠性，阈值优选为比最大的困倦等级D4的困倦分数小的值。

而且，在困倦度D超过阈值而检测到驾驶者的困倦征兆的情况下，处理器52判定为驾驶员有困倦征兆，请求困倦征兆通知。

5.困倦征兆的判定以及困倦征兆通知请求

通过由处理器52执行困倦征兆通知程序FBP，实现本实施方式所涉及的利用控制装置50执行的驾驶员的困倦征兆的判定以及困倦征兆通知请求。图6是示出由处理器52执行的困倦征兆通知程序FBP的处理的流程图。此外，图6所示的处理由控制装置50以预定的控制周期反复执行。

在步骤S11(困倦等级推测处理)中，处理器52根据驾驶员状态信息DRS推测驾驶员的困倦等级。如上所述，依照图3所示的决策树，根据针对每个困倦等级是否检测出困倦动作，从而进行困倦等级的推测。

接下来，在步骤S12(累计处理)中，处理器52累计困倦分数来进行困倦度D的计算。处理器52根据推测出的驾驶员的困倦等级取得困倦分数，针对每个控制周期依次累计所取得的困倦分数。将其累计值计算为困倦度D。

在步骤S13(困倦征兆判定处理)中，处理器52判定在步骤S12中计算出的困倦度D是否超过阈值。在困倦度D超过阈值的情况下，处理器52判定为驾驶员有困倦征兆。阈值是通过困倦征兆通知系统10的适应等调整的预定的值，预先提供给程序。

在判定为驾驶员有困倦征兆的情况下(步骤S13；“是”)，进入到步骤S14，处理器52进行困倦征兆通知请求，结束该控制周期中的处理。在判定为驾驶员无困倦征兆的情况下(步骤S13；“否”)，结束该控制周期中的处理。

6.效果

如以上说明，根据本实施方式所涉及的困倦征兆通知系统10，通过检测困倦动作来推测驾驶员的困倦等级，累计与推测出的困倦等级对应的困倦分数来计算困倦度。然后，在困倦度超过预定的阈值的情况下，判定为驾驶员有困倦征兆，进行困倦征兆通知。由此，能够减少与驾驶员的困倦的误推测相伴的不必要的时机下的困倦征兆通知，减少厌烦感。

7.本实施方式所涉及的困倦征兆通知系统的变形例

本实施方式所涉及的困倦征兆通知系统10也可以采用如以下所述的变形的方案。

7-1.基于困倦等级的频度分布动态地变更困倦分数

存储器51存储作为基准的困倦等级的频度分布(以下还称为“基准频度分布”)和实际推测出的驾驶员的困倦等级的频度分布(以下还称为“实际频度分布”)，处理器52也可以比较基准频度分布和实际频度分布来动态地变更困倦分数。

关于基准频度分布以及实际频度分布，针对各个困倦等级的每一个等级提供其频度。基准频度分布提供例如一般驾驶中的驾驶员的困倦等级的频度分布。

处理器52对基准频度分布和实际频度分布进行比较，根据比较结果变更困倦分数。例如，如下所述进行与比较结果对应的困倦分数的变更。

图7是示出基准频度分布和实际频度分布的比较的例子的图形。在图7所示的例子中，仅实际频度分布中的困倦等级D2的频度比基准频度分布多。在这样的情况下，考虑由于驾驶员特有的动作而错误地推测为困倦等级D2的可能性。因此，相对地降低与困倦等级D2对应的困倦分数。

例如，在如图4所示地针对各个困倦等级设定有困倦分数的情况下，将对困倦等级D2设定的困倦分数从+2变更为+0.5。至于进行何种程度的变更，既可以根据进行比较时的差值通过映射来提供，也可以以与基准频度分布取得平衡的方式提供。

通过这样变更困倦分数，能够减小误推测的影响。

或者，在以下的状况C1至C4中诸如困倦等级D3、D4的高困倦等级的频度比基准频度分布多的情况下，相对地提高与困倦等级D3、D4对应的困倦分数。

C1：在生物体上成为困倦峰值的时间段(下午2时至下午4时、以及上午2时至上午4时)行驶时

C2：从驾驶开始起的经过时间比较长时(例：2小时以上)

C3：在由瞌睡驾驶引起的事故多发的地点行驶时

C4：在困倦程度易于增大的道路上行驶时

由此，在困倦程度特别易于增大的状况下推测出较高的困倦等级的情况下，通过使得对应的困倦分数变高，能够提高推测的精度。

此外，根据控制装置50经由车载网络取得的时间信息、地图信息、位置信息进行状况C1至C4的判断。特别地，也可以通过从应用本实施方式所涉及的困倦征兆通知系统10的各个车辆收集位置信息以及各个车辆推测出的困倦等级，进行状况C4的判断。

7-2.根据困倦等级的可靠度变更累计的困倦分数

处理器52也可以对推测出的困倦等级提供可靠度，根据可靠度变更累计的困倦分数。

可靠度能够例如根据接下来的观点P1至P3提供。

P1：推测出困倦等级的困倦动作的确切性

P2：多个困倦动作的检测

P3：在特定的状况下推测出的困倦等级

在观点P1中，提供根据困倦动作的确切性推测的困倦等级的可靠度。例如，考虑从驾驶员状态信息DRS检测“长时间打哈欠”的困倦动作、驾驶员的困倦等级被推测为D3的情况。处理器52参照驾驶员状态信息DRS的开口度，在开口度是预定值以上、并且其状态持续预定时间以上的情况下，检测“长时间打哈欠”的困倦动作。此时，可以说开口度的值越大、持续时间越长，则困倦动作的确切性越高。因此，在检测到“长时间打哈欠”的困倦动作的情况下，开口度的值越大且持续时间越长，能够提供越高的可靠度。

作为其他例子有：在检测到“闭眼睛”的困倦动作的情况下，被检测为“闭眼睛”的时间越长则提供越高的可靠度；在检测到“眨眼的速度降低”的困倦动作的情况下，眨眼的速度越慢则提供越高的可靠度等。

在观点P2中，在检测到多个困倦动作的情况下，提高推测出的困倦等级的可靠度。例如，在检测困倦等级D2的困倦动作的情况下，在从驾驶员状态信息DRS检测到“点头”的困倦动作和“眼皮稍重”的困倦动作这两方的情况下，可以说相比于仅检测到某一方的情况，作为困倦等级D2的可靠度更高。因此，在这样检测到多个困倦动作的情况下，能够提供较高的可靠度。

在观点P3中，在驾驶环境、周围环境等处于特定的状况的情况下，提高困倦等级的可靠度。例如，在状况C1至C4下困倦等级被推测为D2以上的情况下，可以说相比于在通常的状况下推测的困倦等级，可靠度更高。因此，能够对在这样的特定的状况下推测的困倦等级提供较高的可靠度。

作为其他例子有：在驾驶刚刚开始之后推测为困倦等级D0或者D1的情况下，提高可靠度；在紧急车辆在附近的状况下困倦等级被推测为D0或者D1的情况下，提高可靠度；在判定为车辆晃动的状况下困倦等级被推测为D2以上的情况下，提高可靠度等。

例如，如下所述地根据可靠度进行累计的困倦分数的变更。

根据如上述的观点，以0～1的值对推测出的困倦等级提供可靠度。表示越接近0则可靠度越低，越接近1则可靠度越高。此时，累计的困倦分数为乘以可靠度而得到的值。

例如，设为针对各个困倦等级设定如图4所示的困倦分数。此时，在困倦等级为D2且可靠度为0.8的情况下，累计的困倦分数为2×0.8＝1.6。在困倦等级为D2且可靠度为0.4的情况下，累计的困倦分数为2×0.4＝0.8。即，可靠度越低，累计的困倦分数越低。

通过这样对推测出的困倦等级提供可靠度，根据可靠度变更累计的困倦分数，能够减少困倦等级的误推测的影响，能够降低不必要的时机下的与困倦征兆通知相伴的厌烦感。

Claims (5)

1.一种困倦征兆通知系统，对出现困倦征兆的驾驶员进行困倦征兆通知，其特征在于，具备：

驾驶员监视器，检测作为所述驾驶员的状态的驾驶员状态；以及

控制装置，根据所述驾驶员状态而请求所述困倦征兆通知，

所述控制装置执行：

困倦等级推测处理，根据所述驾驶员状态推测困倦等级，该困倦等级表示所述驾驶员的困倦的程度且根据所述困倦的程度而被分类；

累计处理，累计困倦分数，该困倦分数为对应于所述困倦等级而规定的值；以及

困倦征兆判定处理，在通过所述累计处理得到的累计值超过预定的阈值的情况下，判定为所述驾驶员有所述困倦征兆，

在所述困倦等级推测处理中，各个所述困倦等级对应关联有困倦动作，

所述控制装置针对每个所述困倦等级，从所述驾驶员状态检测所述困倦动作，

在检测到所述困倦动作的情况下，所述控制装置将检测出的所述困倦动作所关联的所述困倦等级推测为所述驾驶员的所述困倦等级，

在所述困倦等级推测处理中，所述控制装置最优先检测与表示看起来不困的困倦等级关联起来的所述困倦动作，之后，按照困倦的程度从高到低的困倦等级的顺序依次检测所述困倦动作。

2.根据权利要求1所述的困倦征兆通知系统，其特征在于，

所述控制装置存储推测出的困倦等级的频度分布，并根据所述频度分布动态地变更对应于所述困倦等级而规定的所述困倦分数。

3.根据权利要求1所述的困倦征兆通知系统，其特征在于，

所述控制装置对推测出的所述困倦等级提供可靠度，根据所述可靠度变更在所述累计处理中累计的所述困倦分数。

4.一种困倦征兆通知系统，对出现困倦征兆的驾驶员进行困倦征兆通知，其特征在于，具备：

驾驶员监视器，检测作为所述驾驶员的状态的驾驶员状态；以及

控制装置，根据所述驾驶员状态而请求所述困倦征兆通知，

所述控制装置执行：

困倦等级推测处理，根据所述驾驶员状态推测困倦等级，该困倦等级表示所述驾驶员的困倦的程度且根据所述困倦的程度而被分类；

累计处理，累计困倦分数，该困倦分数为对应于所述困倦等级而规定的值；以及

困倦征兆判定处理，在通过所述累计处理得到的累计值超过预定的阈值的情况下，判定为所述驾驶员有所述困倦征兆，

所述控制装置存储推测出的困倦等级的频度分布，并根据所述频度分布动态地变更对应于所述困倦等级而规定的所述困倦分数。

5.一种困倦征兆通知系统，对出现困倦征兆的驾驶员进行困倦征兆通知，其特征在于，具备：

驾驶员监视器，检测作为所述驾驶员的状态的驾驶员状态；以及

控制装置，根据所述驾驶员状态而请求所述困倦征兆通知，

所述控制装置执行：

困倦等级推测处理，根据所述驾驶员状态推测困倦等级，该困倦等级表示所述驾驶员的困倦的程度且根据所述困倦的程度而被分类；

累计处理，累计困倦分数，该困倦分数为对应于所述困倦等级而规定的值；以及

困倦征兆判定处理，在通过所述累计处理得到的累计值超过预定的阈值的情况下，判定为所述驾驶员有所述困倦征兆，

所述控制装置对推测出的所述困倦等级提供可靠度，根据所述可靠度变更在所述累计处理中累计的所述困倦分数。