CN111243235A - 驾驶辅助方法及装置 - Google Patents

Abstract

本发明公开了一种驾驶辅助方法及装置，所述方法包括：获取驾驶员的多个视频帧，由所述视频帧中提取包含驾驶员面部的面部图像；分析所述面部图像中所述驾驶员的面部特征；根据所述面部特征确定所述驾驶员是否处于分神状态；若所述驾驶员处于分神状态，则对所述驾驶员进行提醒。本发明实施例的技术方案通过对驾驶员的面部图像进行分析，以确定驾驶员是否处于分神状态，若所述驾驶员处于分神状态，则对所述驾驶员进行提醒，由于对驾驶员采用非侵入式的检测方式，可以保证检测的舒适性，而且当驾驶员处于分神状态时，可以对所述驾驶员进行提醒，保证了行车安全。

Description

驾驶辅助方法及装置

技术领域

本发明涉及互联网技术领域，特别涉及一种驾驶辅助方法及装置。

背景技术

随着社会经济的发展，机动车数辆与日俱增。尤其在物流运输领域，驾驶员在长途运输中，很容易处于分神状态，例如，疲劳状态、左顾右盼、接打电话、长时间不注视前方和抽烟，严重影响了驾驶安全。据调查，我国与疲劳相关的交通事故占事故总数的20％左右，占重特大交通事故的40％以上。因此，为减少疲劳驾驶而引起的交通事故和保障人们的人身安全，研究有效的方法来实时检测驾驶员的疲劳状态是非常必要和具有重要意义的。

目前检测驾驶员的疲劳状态的研究热点是将多源信息如呼吸信号、心跳信号、手握方向盘的压力信号、脉搏信号和车速进行融合，然后进行综合判断。但是，以上检测方式在获得驾驶员的生理数据时，往往需要与人体直接接触，在舒适性上无法满足驾驶员的要求。

发明内容

有鉴于此，本发明实施例的目的是提供一种较为舒服的检测驾驶员是否处于分神状态的驾驶辅助方法及装置。

为了实现上述目的，本发明实施例提供了一种驾驶辅助方法，包括：

获取驾驶员的多个视频帧，由所述视频帧中提取包含驾驶员面部的面部图像；

分析所述面部图像中所述驾驶员的面部特征；

根据所述面部特征确定所述驾驶员是否处于分神状态；

若所述驾驶员处于分神状态，则对所述驾驶员进行提醒。

作为优选，对所述驾驶员进行提醒，包括：

向驾驶员座椅的振动装置发送振动指令，以使所述驾驶员的座椅发生振动。

作为优选，所述分神状态包括以下至少一种情况：疲劳状态、左顾右盼、接打电话、长时间不注视前方和抽烟。

作为优选，对所述驾驶员进行提醒之后，所述方法还包括：

向管理平台发送所述驾驶员的多个视频帧或所述面部图像以进行报警。

作为优选，分析所述面部图像中所述驾驶员的面部特征，包括：

采用神经卷积网络识别面部图像中的眼部图像和/或嘴部图像；

并判断眼部的注视方向是否为前方、眼部是否存眨眼动作、嘴部是否存在呵欠动作、嘴部是否存在吸烟动作和/或是否存在接打电话的动作。

作为优选，根据所述面部特征确定所述驾驶员是否处于分神状态，包括：

若所述面部特征显示所述驾驶员存在以下至少一种情况时，则确认所述驾驶员处于分神状态：眼部未注视前方超过预设时间、眼部存在频繁的眨眼动作、嘴部存在呵欠动作、嘴部存在吸烟动作和/或驾驶员在接打电话。

作为优选，根据所述面部特征确定所述驾驶员是否处于分神状态，包括：

根据面部特征确定所述驾驶员的分神级别；

其中，所述分神级别包括轻度分神和严重分神。

作为优选，向驾驶员座椅的振动装置发送振动指令，以驾驶员的座椅发生振动，包括：

根据所述分神级别确定振动强度。

作为优选，若分神级别为严重分神，则对所述驾驶员进行提醒之后，所述方法还包括：

调整车辆速度和/或车灯状态。

作为优选，若分神级别为严重分神，则对所述驾驶员进行提醒之后，所述方法还包括：

判断前方路况是否存在障碍物；

若前方存在障碍物，则向所述驾驶员发送语音提醒。

本发明实施例还提供一种驾驶辅助装置，包括：

获取模块，用于获取驾驶员的多个视频帧，由所述视频帧中提取包含驾驶员面部的面部图像；

分析模块，用于分析所述面部图像中所述驾驶员的面部特征；

判断模块，用于根据所述面部特征确定所述驾驶员是否处于分神状态；

提醒模块，用于若所述驾驶员处于分神状态，则对所述驾驶员进行提醒。

与现有技术相比，本发明实施例具有以下有益效果：本发明实施例的技术方案通过对驾驶员的面部图像进行分析，以确定驾驶员是否处于分神状态，若所述驾驶员处于分神状态，则对所述驾驶员进行提醒，由于对驾驶员采用非侵入式的检测方式，可以保证检测的舒适性，而且当驾驶员处于分神状态时，可以对所述驾驶员进行提醒，保证了行车安全。

附图说明

图1为本发明的驾驶辅助方法的实施例一的流程图；

图2为本发明的驾驶辅助方法的实施例二的流程图；

图3为本发明的驾驶辅助装置的实施例一的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外，为了清除和简洁，实施例中省略了对已知功能和构造的描述。

应该理解，说明书通篇中提到的“一个实施例”或“本实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“一个实施例”或“本实施例”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

还需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。

图1为本发明的驾驶辅助方法的实施例一的流程图，如图1所示，本实施例的驾驶辅助方法，具体可以包括如下步骤：

S101，获取驾驶员的多个视频帧，由所述视频帧中提取包含驾驶员面部的面部图像。

本实施例可以通过在驾驶室中控台上方或中控台位置处设置图像采集单元来采集驾驶员的面部图像。

本实施例的其中一个应用场景中，为了更好的采集驾驶员状态，图像采集单元(例如，红外摄像头)安装于驾驶室内中控台上位于驾驶员正前方或偏右30度范围内的位置，且设备上仰5度至25度，主要用于采集驾驶员面部；图像采集单元采集面部图像后，将面部图像发送至中央处理单元，使中央处理单元对面部图像进行分析处理。

其中，图像为由图像采集单元拍摄的深度图像；并且，图像采集单元可以包括双目摄像头和红外补光灯，以便于夜间捕捉驾驶员的面部图像。

S102，分析所述面部图像中所述驾驶员的面部特征。

在具体实施时，可以采用神经网络卷算法来识别面部图像的面部特征。其中，神经卷积网络算法是一种目前广泛采用的算法，具体可以参考现有技术，在此不再赘述。

S103，根据所述面部特征确定所述驾驶员是否处于分神状态。

所述分神状态包括以下至少一种情况：疲劳状态、左顾右盼、接打电话、长时间不注视前方和抽烟。

其中，确定驾驶员是否处于分神状态可以采用神经卷积网络对驾驶员的面部图像进行分析，以确定驾驶员是否处于分神状态。

S104，若所述驾驶员处于分神状态，则对所述驾驶员进行提醒。

在具体实施时，可以采用多种方式对所述驾驶员进行提醒。例如，使驾驶员的座椅振动、向驾驶员发送语音提醒、打开空调使室内温度降低、向驾驶员喷水以及散发清醒气味剂。

本发明实施例的技术方案通过对驾驶员的面部图像进行分析，以确定驾驶员是否处于分神状态，若所述驾驶员处于分神状态，则对所述驾驶员进行提醒，由于对驾驶员采用非侵入式的检测方式，可以保证检测的舒适性，而且当驾驶员处于分神状态时，可以对所述驾驶员进行提醒，保证了行车安全。

图2为本发明的驾驶辅助方法的实施例二的流程图，本实施例的驾驶辅助方法在上述实施例一的基础上，进一步更加详细地介绍本发明的技术方案。如图2所示，本实施例的驾驶辅助方法，具体可以包括如下步骤：

S201，获取驾驶员的多个视频帧，由所述视频帧中提取包含驾驶员面部的面部图像。

本实施例的步骤S201与实施例一的步骤S101相对应。

S202，采用神经卷积网络识别面部图像中的眼部图像和/或嘴部图像。

在具体实施时，可以预先训练神经卷积网络(CNN)识别器，以识别眼部图像和嘴部图像。例如，可以采用神经卷积网络算法构建训练器，经过输入大量的面部图像，对图像进行过滤、降噪、分割等处理，然后识别出面部图像中的眼部图像和嘴部图像，并提取眼部图像和嘴部图像的特征值，构建出识别器。然后采用识别器对驾驶员的面部图像进行识别，输出出眼部图像和嘴部图像的特征值，将特征值与参考图像的特征值进行匹配，以确定眼部的注视方向、眼部是否存在眨眼动作，嘴部是否存在呵欠动作、嘴部是否存在吸烟动作和/或是否存在接打电话的动作等。

其中，神经卷积网络算法是一种广泛采用的算法，具体可以参考现有技术，在此不再赘述。

在本发明的其他实施例中，还可以通过图像采集单元获取驾驶员的眼球转动图像，可以确定眼晴的注视方向以及眼部的眨眼动作。

S203，判断眼部的注视方向是否向前、眼部是否存眨眼动作、嘴部是否存在呵欠动作、嘴部是否存在吸烟动作和/或是否存在接打电话的动作。

可参考步骤S202对于判断是否存在眨眼动作和/或嘴部是否存在呵欠动作的介绍。

上述步骤S202和S203对应实施例一的步骤S102相对应。

S204，若所述面部特征显示所述驾驶员存在以下至少一种情况时，则确认所述驾驶员处于分神状态：眼部未注视前方超过预设时间、眼部存在频繁的眨眼动作、嘴部存在呵欠动作、嘴部存在吸烟动作和/或驾驶员在接打电话。

步骤S204进一步包括：步骤A，根据面部特征确定所述驾驶员的分神级别。

其中，分神级别包括轻度分神和严重分神。

在本发明其中一个实施例中，在确认驾驶员分神级别时，并非是一刀切的方式，而是根据每种情况的严重程度来划分的。下表列举了几种确定分神级别的方式，如下表所示：

上表仅是举例说明如何划分分神级别，在具体实施时可以根据实际情况进行划分。

一般地，驾驶员如果处于疲劳状态，则也处于分神状态。在判断疲劳状态时，正常人的眼皮，每分钟大约要眨动15次。眨眼对眼睛是有好处的：首先，它可以起到清洁和湿润眼球的作用。其次，眨眼睛可以起到保护眼睛的作用。当风沙或飞虫接近眼睛的时候，眼皮会自然眨动，这就挡住了沙粒和虫子。当眼睛感到疲劳的时候，眨几下眼睛，就会觉得舒适一些，这是因为眨眼睛的一瞬间，光线被中断，这就让眼睛得到了短暂的休息。因此可以通过眼部的眨眼频率确定驾驶员是否处于疲劳状态。

例如，预设时间为10分钟。如果驾驶员在10分钟内发生一次呵欠，和/或160-180次眨眼，则说明驾驶员处于轻度疲劳状态，即轻度分神状态。如果驾驶员在10分钟内发生三次以上呵欠动作，和/或180以上次眨眼，则说明驾驶员处于严重疲劳状态，即驾驶员处于严重分神状态。

另外，接打电话是较为严重的分神情况，但一些接听时间较短的电话，例如，仅不到10秒钟，且未引起严重后果，也可以不视为严重分神，而视为轻度分神。

上述步骤S204对应实施例一的步骤S103相对应。

S205，向驾驶员座椅的振动装置发送振动指令，以使所述驾驶员的座椅发生振动。

在具体实施时，驾驶员员座椅的下方或者靠背位置可以设置振动装置，当振动装置接收到振动指令后，即开始振动。

相应地，步骤S205包括以下步骤：步骤B，根据所述分神级别确定振动强度。

在其中一个实施例中，当驾驶员处于轻度分神状态时，可以向振动装置发送轻微振动指令，以提醒驾驶员。当驾驶员处于严重状态时，轻微振动可能并不足以起到提醒驾驶员的作用，这时可以向振动装发送较高强度振动指令。高振动强度下，振动幅度和/或频率高于轻微振动强度。具体数值可根据实际情况下进行调整。

其中，振动装置包括振动电机。

上述步骤S205对应实施例一的步骤S104相对应。

S206，向管理平台发送所述驾驶员的多个视频帧或所述面部图像以进行报警。

在具体实施时，对于专车、租赁汽车等存在统一的管理平台。管理平台可以对车辆和驾驶员情况进行监控。摄像头可以捕获驾驶员的视频帧，然后将该视频帧发送至处理器，处理器从中提取出包含驾驶员面部图像的视频帧以分析驾驶员的面部特征，摄像头还可以捕获驾驶员的面部图像，然后发送至处理器以使处理器分析驾驶员的面部特征。当处理器分析确定驾驶员为分神状态时，可以将对应的多个视频帧或面部图像发送至管理平台，使管理人员对驾驶员进行统一管理。例如，由管理人员联系驾驶员对驾驶员进行分神提醒，或者在后事对驾驶员进行培训。

S207，若分神级别为严重分神，调整车辆速度和/或车灯状态。

在具体实施时，当驾驶员处于严重分神状态下，对于车辆的操作很容易发生失误。这时可以适当的调整车速和/或车灯状态。例如，当检测到货车司机在高速公路上行驶，且已处于严重分神状态，而车速达到120千米/小时，这时将自动调整车速，使车辆由120行米/小时减至90千米/小时。使车辆减速的方法例如可以向发动机控制器发送调整转速的信号。同时还可以使车灯状态变为红色，并且使车灯闪烁，这样提醒后方车辆注意保持车距。

S208，若分神级别为严重分神，判断前方路况是否存在障碍物。

S209，若前方存在障碍物，则向所述驾驶员发送语音提醒。

在具体实施时，如果驾驶员已处于严重分神的状态，这时对前方障碍物的注意程度会有所下降。

在其中一个实施例中，障碍物可以包括红绿灯、转弯、事故多发路段、车辆、行人、摩托车和自行车等。当经过红绿灯、转弯、事故多发路段等、车辆、行人、摩托车和自行车时，语音提示驾驶员注意前后方来来或注意红绿灯信息。

本发明实施例的技术方案根据分神等级向驾驶员座椅的振动装置发送相应的振动强度振动指令，以足以达到提醒驾驶员的程度，并且当驾驶员处于严重分神的情况下，控制车辆减速或者调整车灯状态，还可以当存在障碍物时对所述驾驶员进行提醒，保证了行车安全。

图3为本发明的驾驶辅助装置的实施例一的示意图，如图3所示，本实施例的驾驶辅助装置，具体可以包括获取模块310、分析模块320和判断模块330、提醒模块340。

获取模块310，用于获取驾驶员的多个视频帧，由所述视频帧中提取包含驾驶员面部的面部图像；

分析模块320，用于分析所述面部图像中所述驾驶员的面部特征；

判断模块330，用于根据所述面部特征确定所述驾驶员是否处于分神状态；

提醒模块340，用于若所述驾驶员处于分神状态，则对所述驾驶员进行提醒。

本实施例的驾驶辅助装置，通过采用上述模块对处于分神状态的驾驶员进行提醒的实现机制与上述图1所示实施例的驾驶辅助方法的实现机制相同，详细可以参考上述图1所示实施例的记载，在此不再赘述。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (11)

1.一种驾驶辅助方法，其特征在于，包括：

获取驾驶员的多个视频帧，由所述视频帧中提取包含驾驶员面部的面部图像；

分析所述面部图像中所述驾驶员的面部特征；

根据所述面部特征确定所述驾驶员是否处于分神状态；

若所述驾驶员处于分神状态，则对所述驾驶员进行提醒。

2.根据权利要求1所述的方法，其特征在于，对所述驾驶员进行提醒，包括：

向驾驶员座椅的振动装置发送振动指令，以使所述驾驶员的座椅发生振动。

3.根据权利要求1所述的方法，其特征在于，所述分神状态包括以下至少一种情况：疲劳状态、左顾右盼、接打电话、长时间不注视前方和抽烟。

4.根据权利要求1所述的方法，其特征在于，对所述驾驶员进行提醒之后，所述方法还包括：

向管理平台发送所述驾驶员的多个视频帧或所述面部图像以进行报警。

5.根据权利要求1所述的方法，其特征在于，分析所述面部图像中所述驾驶员的面部特征，包括：

采用神经卷积网络识别面部图像中的眼部图像和/或嘴部图像；

并判断眼部的注视方向是否为前方、眼部是否存眨眼动作、嘴部是否存在呵欠动作、嘴部是否存在吸烟动作和/或是否存在接打电话的动作。

6.根据权利要求1或5所述的方法，其特征在于，根据所述面部特征确定所述驾驶员是否处于分神状态，包括：

若所述面部特征显示所述驾驶员存在以下至少一种情况时，则确认所述驾驶员处于分神状态：眼部未注视前方超过预设时间、眼部存在频繁的眨眼动作、嘴部存在呵欠动作、嘴部存在吸烟动作和/或驾驶员在接打电话。

7.根据权利要求6所述的方法，其特征在于，根据所述面部特征确定所述驾驶员是否处于分神状态，还包括：

根据面部特征确定所述驾驶员的分神级别；

其中，所述分神级别包括轻度分神和严重分神。

8.根据权利要求2或7所述的方法，其特征在于，向驾驶员座椅的振动装置发送振动指令，以驾驶员的座椅发生振动，包括：

根据所述分神级别确定振动强度。

9.根据权利要求7所述的方法，其特征在于，若分神级别为严重分神，则对所述驾驶员进行提醒之后，所述方法还包括：

调整车辆速度和/或车灯状态。

10.根据权利要求7所述的方法，其特征在于，若分神级别为严重分神，则对所述驾驶员进行提醒之后，所述方法还包括：

判断前方路况是否存在障碍物；

若前方存在障碍物，则向所述驾驶员发送语音提醒。

11.一种驾驶辅助装置，其特征在于，包括：

获取模块，用于获取驾驶员的多个视频帧，由所述视频帧中提取包含驾驶员面部的面部图像；

分析模块，用于分析所述面部图像中所述驾驶员的面部特征；

判断模块，用于根据所述面部特征确定所述驾驶员是否处于分神状态；

提醒模块，用于若所述驾驶员处于分神状态，则对所述驾驶员进行提醒。

Images