CN110091874A - 一种基于表情识别的安全驾驶系统及识别方法 - Google Patents

Abstract

本发明涉及安全驾驶系统技术领域，且公开了一种基于表情识别的安全驾驶系统及识别方法。该基于表情识别的安全驾驶系统，包括车壳，所述车壳顶部的内侧通过第一螺栓固定安装有固定板，所述固定板的底部焊接有连接杆，所述连接杆的另一端焊接有U型板，所述U型板的内侧活动安装有摄像机，所述车壳顶部内侧通过第二螺栓固定安装有凸型块。本发明建立了面部特征点数据的时间序列，相比于时间断层的单张照片的识别方式而言，更加科学、精确，避免了因驾驶者面部的突然变化导致的误判，提高了识别的正确率；识别方式采用面积与曲率半径的判断，相比于根据两点间几何距离的识别方式而言，更加可靠，提高了识别的正确率。

Description

一种基于表情识别的安全驾驶系统及识别方法

技术领域

本发明属于安全驾驶系统技术领域，具体是涉及一种基于表情识别的安全驾驶系统及识别方法。

背景技术

随着社会经济的发展，汽车数量日益增加，交通事故的发生率也随之增长。据调研，90％的交通事故与驾驶者自身状态有关，驾驶者的自身状态是否正常在很大程度上决定了他是否会在驾驶时发生危险事故。调查了解还发现，众多交通事故发生的原因中，酒后驾驶占50％以上，疲劳驾驶占21％，愤怒驾驶占3％-5％，还有一些极端情况，如带病驾驶、吸毒驾驶等。当驾驶者处于以上状态时，其面部表情往往会与正常状态不同，根据面部表情的特征我们大致可分为困倦、兴奋、愤怒、痛苦四种状态。当驾驶者处于以上四种状态时需要对其提醒，建议其不要驾驶汽车。我们设计的基于表情识别的安全驾驶系统可以有效地对驾驶者所处的异常状态进行识别并提醒，以保证驾驶者在正常状态下驾驶汽车。

发明内容

本发明主要是解决上述现有技术所存在的技术问题，提供一种基于表情识别的安全驾驶系统。

本发明主要是解决上述现有技术所存在的技术问题，提供一种基于表情识别的安全驾驶系统及识别方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于表情识别的安全驾驶系统，包括车壳，所述车壳顶部的内侧通过第一螺栓固定安装有固定板，所述固定板的底部焊接有连接杆，所述连接杆的另一端焊接有U型板，所述U型板的内侧活动安装有摄像机，所述车壳顶部内侧通过第二螺栓固定安装有凸型块，所述凸型块的外侧活动卡接有凹型块。

作为优选，所述摄像机的前端安装有摄像头，且摄像机的底端设有接线端口。

作为优选，所述凹型块的底部固定安装有语音提示仪，所述语音提示仪由汽车OBDII协议数据解析模块、单片机芯片、语音芯片、功放电路组成。

作为优选，所述摄像头位于车壳内侧车座的右上四十五度处，且摄像头在U型板内侧可调节多个角度。

作为优选，所述凸型块与凹型块的尺寸值相等。

作为优选，所述车壳内侧的车台上固定安装有计算机，所述计算机包括屏幕和操作按键。

一种上述基于表情识别的安全驾驶系统的识别方法，包括如下步骤：

步骤⑴，系统开机，参数初始化；

步骤⑵，装置进入困倦状态判断子流程；

步骤⑶，装置根据困倦状态判断子流程的输出结果，判断驾驶者是否处于困倦状态；若是，则进入困倦状态提示子流程，结束后返回步骤⑵；若否，则进入步骤⑷；

步骤⑷，装置进入兴奋状态判断子流程；

步骤⑸，装置根据兴奋状态判断子流程的输出结果，判断驾驶者是否处于兴奋状态；若是，则进入兴奋状态提示子流程，结束后返回步骤⑵；若否，则进入步骤⑹；

步骤⑹，装置进入愤怒状态判断子流程；

步骤⑺，装置根据愤怒状态判断子流程的输出结果，判断驾驶者是否处于愤怒状态；若是，则进入愤怒状态提示子流程，结束后返回步骤⑵；若否，则进入步骤⑻；

步骤⑻，装置进入痛苦状态判断子流程；

步骤⑼，装置根据痛苦状态判断子流程的输出结果，判断驾驶者是否处于痛苦状态；若是，则进入痛苦状态提示子流程，结束后返回步骤⑵；若否，则返回步骤⑵。

本发明具有的有益效果：

1.建立了面部特征点数据的时间序列，相比于时间断层的单张照片的识别方式而言，更加科学、精确，避免了因驾驶者面部的突然变化导致的误判，提高了识别的正确率；

2.识别方式采用面积与曲率半径的判断，相比于根据两点间几何距离的识别方式而言，更加可靠，提高了识别的正确率；

3.对驾驶者的异常状态对应的四种表情使用了多种判断方式进行识别，只要驾驶者出现所对应的一种表现，即可判定为异常，识别手段丰富全面，具有很高的识别率；

4.将识别得到的异常状态进行了等级划分，根据不同状态的不同等级，使用语音提示器进行了不同的提示，体现了系统智能化与人性化的特点。

附图说明

图1为本发明的一种主流程示意图；

图2为本发明的一种困倦状态判断流程示意图；

图3为本发明的一种困倦状态提示流程示意图；

图4为本发明的一种兴奋状态判断流程示意图；

图5为本发明的一种兴奋状态提示流程示意图；

图6为本发明的一种愤怒状态判断流程示意图；

图7为本发明的一种愤怒状态提示流程示意图；

图8为本发明的一种痛苦状态判断流程示意图；

图9为本发明的一种痛苦状态提示流程示意图；

图10为本发明的一种主视结构示意图。

图中：1、车壳；2、第一螺栓；3、固定板；4、连接杆；5、U型板；6、摄像机；7、摄像头；8、第二螺栓；9、凸型块；10、凹型块；11、语音提示仪；12、计算机。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：一种基于表情识别的安全驾驶系统，如图1-图10所示，包括车壳1，车壳1顶部的内侧通过第一螺栓2固定安装有固定板3，固定板3的底部焊接有连接杆4，连接杆4的另一端焊接有U型板5，U型板5的内侧活动安装有摄像机6，车壳1顶部内侧通过第二螺栓8固定安装有凸型块9，凸型块9的外侧活动卡接有凹型块10，凸型块9与凹型块10配合可实现对语音提示仪11的快速拆卸。

其中，摄像机6的前端安装有摄像头7，且摄像机6的底端设有接线端口。

其中，凹型块10的底部固定安装有语音提示仪11，语音提示仪11由汽车OBDII协议数据解析模块、单片机芯片、语音芯片、功放电路组成。

其中，摄像头7位于车壳1内侧车座的右上四十五度处，且摄像头7在U型板5内侧可调节多个角度，可实现对不同身高的驾驶员进行监控。

其中，凸型块9与凹型块10的尺寸值相等。

其中，车壳1内侧的车台上固定安装有计算机12，计算机12包括屏幕和操作按键，通过计算机12识别处理，判断驾驶者是否处于困倦、兴奋、愤怒、痛苦的非正常状态，并在驾驶者处于以上状态时通过语音提示仪11提醒其此时驾驶汽车可能存在危险。

本发明的实用原理：

1)系统开机，参数初始化。

2)装置进入困倦状态判断子流程。

3)装置根据困倦状态判断子流程的输出结果，判断驾驶者是否处于困倦状态。若是，则进入困倦状态提示子流程，结束后返回2)；若否，则进入4)。

4)装置进入兴奋状态判断子流程。

5)装置根据兴奋状态判断子流程的输出结果，判断驾驶者是否处于兴奋状态。若是，则进入兴奋状态提示子流程，结束后返回2)；若否，则进入6)。

6)装置进入愤怒状态判断子流程。

7)装置根据愤怒状态判断子流程的输出结果，判断驾驶者是否处于愤怒状态。若是，则进入愤怒状态提示子流程，结束后返回2)；若否，则进入8)。

8)装置进入痛苦状态判断子流程。

9)装置根据痛苦状态判断子流程的输出结果，判断驾驶者是否处于痛苦状态。若是，则进入痛苦状态提示子流程，结束后返回2)；若否，则返回2)。

困倦状态判断子流程：

1)装置使用36-47号特征点的坐标计算双眼面积，每0.1秒记录一次数据。

2)装置根据双眼面积，计算眨眼频率，即相邻两次面积为0的时间差，并记录每次面积为0的持续时间，即眨眼时长。

3)装置使用48-59号特征点的坐标计算嘴部面积，每0.1秒记录一次数据。

4)装置根据双眼面积数据与储存的正常状态数据判断驾驶者是否有特征1(双眼面积持续5秒小于正常状态面积的10％及以上)。若是，判断驾驶者为困倦状态，进入流程8)；若否，判断驾驶者为非困倦状态，进入流程5)。

5)装置根据眨眼频率数据、眨眼时长数据与储存的正常状态数据判断驾驶者是否有特征2(眨眼频率比正常状态低20％及以上或眨眼时长比正常状态长10％及以上)。若是，判断驾驶者为困倦状态，进入流程8)；若否，判断驾驶者为非困倦状态，进入流程6)。

6)装置根据嘴部面积数据与记录的正常状态数据判断驾驶者是否有特征3(1分钟内嘴部面积大于正常状态嘴部面积的150％出现的次数为2次及以上)。若是，判断驾驶者为困倦状态，进入流程8)；若否，判断驾驶者为非困倦状态，进入流程7)。

7)装置根据0-16号特征点的坐标判断驾驶者是否有特征4(0-16号特征点中任意一个特征点下移后在0.2秒内上移到正常位置)。若是，判断驾驶者为困倦状态，进入流程8)；若否，判断驾驶者为非困倦状态，进入流程8)。

8)进入主流程下一步。

困倦状态提示子流程：

1)装置判断驾驶者是否有严重困倦特征表现(连续5秒眼睛面积与正常相比缩小30％及以上，或眨眼频率与正常相比减小40％及以上，或眨眼时长与正常相比增加30％及以上，或一分钟内嘴部面积大于正常状态的150％的次数为6次及以上，或0-16号特征点任意一个出现下移后在0.2秒内上移到正常位置)。若是，语音提示器播报“您处于严重困倦状态，请停止驾驶。”；若否，进入2)。

2)装置判断驾驶者是否有中度困倦特征表现(连续5秒眼睛面积与正常相比缩小20％-30％，或眨眼频率与正常相比减小30％-40％，或眨眼时长与正常相比增加20％-30％，或一分钟内嘴部面积大于正常状态的150％的次数为4-5次)。若是，语音提示器播报“您处于中度困倦状态，请减速慢行，谨慎驾驶，建议您停止驾驶。”；若否，进入3)。

3)语音提示器播报“您处于轻度困倦状态，请减速慢行，谨慎驾驶”。

兴奋状态判断流程：

1)装置使用17-21、22-26号特征点的坐标分别计算左右眉毛上移量和左右眉毛的曲率半径，每隔0.1秒记录一次数据。

2)装置使用48和60、54和64号特征点的坐标计算左右嘴角的上扬数据，每隔0.1秒记录一次数据。

3)装置使用55-59号特征点的坐标计算下嘴唇的曲率半径，每隔0.1秒记录一次数据。

4)装置使用0-16号特征点的坐标计算整个头部整体的位移以及移动频率，每隔0.1秒记录一次数据。

5)装置根据眉毛上移量和左右眉毛曲率半径数据与储存的正常状态数据判断驾驶者是否有特征1(眉毛上移量持续5秒超过正常状态的15％及以上且眉毛曲率持续5秒半径小于正常状态的10％及以上)，若是，判断驾驶者为兴奋状态，进入流程8)；若否，判断驾驶者为非兴奋状态，进入流程6)。

6)装置根据嘴角上扬数据和下嘴唇的曲率半径与储存的正常状态数据判断驾驶者是否有特征2(嘴角上扬持续5秒比正常状态增加15％及以上且下嘴唇曲率半径比正常的半径小20％及以上)，若是，判断驾驶者为兴奋状态，进入流程8)；若否，判断驾驶者为非兴奋状态，进入流程7)。

7)装置根据整个头部的位移和移动评率与储存的正常状态数据判断驾驶者是否有特征3(头部持续5秒比正常头部往复运动程度高于20％)，若是，判断驾驶者为兴奋状态，进入流程8)；若否，判断驾驶者为非兴奋状态，进入流程8)。

8)进入主流程下一步。

兴奋状态提示流程：

1)装置判断驾驶者是否有严重兴奋特征表现(连续10秒眉毛上移比正常值大25％及以上，或眉毛曲率半径比正常值小20％及以上，或嘴角位置比正常高25％及以上，或下嘴唇曲率半径比正常小30％及以上，或连续5秒头部的位移和移动频率比正常高10％及以上)。若是，语音提示器播报“您处于严重兴奋状态，请停止驾驶。”；若否，进入2)。

2)语音提示器播报“您处于轻度困倦状态，请减速慢行，谨慎驾驶”。

愤怒状态判断流程：

1)装置使用17-26号特征点的坐标计算眉间距及眉毛长度，每0.1秒记录一次；

2)装置使用36-41号特征点及42-47号特征点的坐标计算双眼面积，每0.1秒记录一次数据；

3)装置使用31、32、34、35号特征点计算鼻孔直径，每0.1秒记录一次数据；

4)装置使用27-30号特征点计算鼻梁长度，每0.1秒记录一次数据；

5)装置根据眉间距长度及眉毛长度与记录的正常状态数据判断驾驶者是否有特征1(眉间距长度及眉毛长度与正常值相比减小10％及以上并保持5秒以上)。若是，判断驾驶者为愤怒状态，进入流程9)；若否，判断驾驶者为非愤怒状态，进入流程6)。

6)装置根据双眼面积与记录的正常状态数据判断驾驶者是否有特征2(双眼面积持续5秒大于正常的面积的20％及以上)。若是，判断驾驶者为愤怒状态，进入流程9)；若否，判断驾驶者为非愤怒状态，进入流程7)。

7)装置根据鼻孔直径与记录的正常状态数据判断驾驶者是否有特征3(鼻孔直径出现周期性波动，约2秒完成一个周期，并测得其最大值大于正常值的20％)若是，判断驾驶者为愤怒状态，进入流程9)；若否，判断驾驶者为非愤怒状态，进入流程8)。

8)装置根据鼻梁长度与记录的正常状态数据判断驾驶者是否有特征4(鼻梁长度与正常时的平均值相比缩短了20％及以上，并持续3秒)若是，判断驾驶者为愤怒状态，进入流程9)；若否，判断驾驶者为非愤怒状态，进入流程9)。

9)进入主流程下一步

愤怒状态提示流程：

1)装置判断驾驶者是否有极度愤怒特征表现(连续5秒眉间距长度及眉毛长度与正常值相比减小20％及以上且连续5秒眼睛面积增大20％及以上，或鼻孔周期性缩放且最大直径大于正常值的10％及以上，或连续3秒鼻梁长度与正常时的平均值相比缩短了20％及以上)。若是，语音提示器播报“您处于极度愤怒状态，请调整情绪，小心驾驶。”若否，进入2)。

2)装置判断驾驶者是否有中度愤怒特征表现(连续5秒眉间距长度及眉毛长度与正常值相比减小20％，或连续5秒眼睛面积增大20％及以上)若是，语音提示器播报“您处于中度愤怒状态，请调整情绪，小心驾驶。”若否，进入3)。

3)语音提示器播报“您处于轻微愤怒状态，请调整情绪，小心驾驶”。

痛苦状态判断流程：

1)装置记录7-9、17-26、48与54与号特征点坐标。

2)装置使用20-23号特征点的坐标计算眉间距对应的面积，每0.1秒记录一次数据。

3)装置使用20-23号特征点的坐标计算相邻两特征点的间距，每0.1秒记录一次数据。

4)装置使用17-26号特征点的坐标计算左右眉的曲率半径，每0.1秒记录一次数据。

5)装置根据眉间距对应的面积数据与储存的正常状态数据判断驾驶者是否有特征1(相邻两点连接点距离小于正常值的15％且其对应面积持续5秒及以上小于正常值的15％)。若是，判断驾驶者为痛苦状态，进入流程8)；若否，判断驾驶者为非痛苦状态，进入流程6)。

6)装置根据眉毛特征点(19-26)所在位置及左右眉曲率半径数据与储存的正常状态数据判断驾驶者是否有特征2(与正常状态相比眉毛下移15％且左右眉曲率半径持续5秒及以上大于正常值的15％)。若是，判断驾驶者为痛苦状态，进入流程8)；若否，判断驾驶者为非痛苦状态，进入流程7)。

7)装置根据下巴及嘴角特征点(7-9、48与54)所在位置数据与记录的正常状态数据判断驾驶者是否有特征3(与正常状态相比嘴角与下巴下移15％且持续5秒未恢复原状)。若是，判断驾驶者为痛苦状态，进入流程8)；若否，判断驾驶者为非痛苦状态，进入流程8)。

8)进入主流程下一步。

痛苦状态提示流程：

1)装置判断驾驶者是否有重度痛苦特征表现(眉间距与正常情况相比缩短20％并且持续10秒及以上或眉毛下移20％且眉毛曲率半径增大20％并持续10秒及以上或嘴角及下巴下移20％并持续10秒及以上)。若是，语音提示器播报“您处于重度痛苦状态，请停止驾驶。”；若否，进入2)。

2)语音提示器播报“您处于轻度痛苦状态，请减速慢行，谨慎驾驶”。

最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本发明不限于上述实施例，还可以有许多变形。凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均应认为属于本发明的保护范围。

Claims (7)

1.一种基于表情识别的安全驾驶系统，包括车壳(1)，其特征在于：所述车壳(1)顶部的内侧通过第一螺栓(2)固定安装有固定板(3)，所述固定板(3)的底部焊接有连接杆(4)，所述连接杆(4)的另一端焊接有U型板(5)，所述U型板(5)的内侧活动安装有摄像机(6)，所述车壳(1)顶部内侧通过第二螺栓(8)固定安装有凸型块(9)，所述凸型块(9)的外侧活动卡接有凹型块(10)。

2.根据权利要求1所述一种基于表情识别的安全驾驶系统，其特征在于：所述摄像机(6)的前端安装有摄像头(7)，且摄像机(6)的底端设有接线端口。

3.根据权利要求1所述一种基于表情识别的安全驾驶系统，其特征在于：所述凹型块(10)的底部固定安装有语音提示仪(11)，所述语音提示仪(11)由汽车OBDII协议数据解析模块、单片机芯片、语音芯片、功放电路组成。

4.根据权利要求1所述一种基于表情识别的安全驾驶系统，其特征在于：所述摄像头(7)位于车壳(1)内侧车座的右上四十五度处，且摄像头(7)在U型板(5)内侧可调节多个角度。

5.根据权利要求1所述的一种基于表情识别的安全驾驶系统，其特征在于：所述凸型块(9)与凹型块(10)的尺寸值相等。

6.根据权利要求1所述的一种基于表情识别的安全驾驶系统，其特征在于：所述车壳(1)内侧的车台上固定安装有计算机(12)，所述计算机(12)包括屏幕和操作按键。

7.一种权利要求1-6任一所述基于表情识别的安全驾驶系统的识别方法，其特征在于，所述识别方法包括如下步骤：

步骤⑴，系统开机，参数初始化；

步骤⑵，装置进入困倦状态判断子流程；

步骤⑶，装置根据困倦状态判断子流程的输出结果，判断驾驶者是否处于困倦状态；若是，则进入困倦状态提示子流程，结束后返回步骤⑵；若否，则进入步骤⑷；

步骤⑷，装置进入兴奋状态判断子流程；

步骤⑸，装置根据兴奋状态判断子流程的输出结果，判断驾驶者是否处于兴奋状态；若是，则进入兴奋状态提示子流程，结束后返回步骤⑵；若否，则进入步骤⑹；

步骤⑹，装置进入愤怒状态判断子流程；

步骤⑺，装置根据愤怒状态判断子流程的输出结果，判断驾驶者是否处于愤怒状态；若是，则进入愤怒状态提示子流程，结束后返回步骤⑵；若否，则进入步骤⑻；

步骤⑻，装置进入痛苦状态判断子流程；

步骤⑼，装置根据痛苦状态判断子流程的输出结果，判断驾驶者是否处于痛苦状态；若是，则进入痛苦状态提示子流程，结束后返回步骤⑵；若否，则返回步骤⑵。