CN110472556A - 基于单目视觉的驾驶员注意力状态分析系统和分析方法 - Google Patents

Abstract

一种基于单目视觉技术的驾驶员注意力状态分析系统和分析方法，该方法通过驾驶员在一段时间内的驾驶表现作为依据来分析驾驶员注意力状态。并在评价驾驶员的驾驶表现时，综合考虑了驾驶员驾驶行为、车辆运行状态、道路环境状况三方面的因素。系统使用架设在车辆前部的单目摄像头实时采集道路环境视频信息，其不仅可以检测前方车道相关信息，还可以检测前方车道邻近车道车流信息。道路环境信息的加入使得在分析评价驾驶员的驾驶表现时形成了一个完整的闭环，驾驶员的驾驶行为需要结合当前路段的道路环境信息综合分析，从而提高了分析驾驶员注意力状态的准确性。

Description

基于单目视觉的驾驶员注意力状态分析系统和分析方法

技术领域

本发明属于汽车电子技术领域，涉及一种基于单目视觉技术的驾驶员注意力状态分析方法；

背景技术

随着科技的发展和人们生活水平的提高，汽车成为了人们生活中不可或缺的代步工具；汽车保有量的增加使得道路上的交通状况更加复杂，很多交通事故的发生与驾驶员开车时的精神状态密切相关；当驾驶员注意力集中度很好时，其对突发的交通状况能够有效的采取措施；反之当驾驶员注意力不集中时，其对突发的交通状况，往往会反应迟钝，从而引发交通事故；

目前判断驾驶员的注意力状态的技术通常有两大类：一类是直接探测的方案，即在驾驶室内架设驾驶员状态检测摄像头，通过该摄像头识别驾驶员的面部(主要是识别嘴巴和眼睛)，进而对驾驶员的疲劳状态进行判别；另一类方法是间接探测的方案，即通过安装在车身上的横/纵向加速度传感器、横摆角速度传感器、方向盘转角传感器等，根据驾驶员的操控车辆的驾驶行为间接检测驾驶员的注意力状态；

上述两个技术方案中，对于直接探测的方案，由于需要架设单独的摄像头，夜间工况甚至需要装备带红外补光的镜头，因此其所需的硬件投入成本较高；并且由于该方案完全基于驾驶员的面部表情的图像进行识别，因此当驾驶员带着墨镜或带着口罩或碰到眼睛较小的驾驶员等情况时，往往系统功能受限/无法正常工作；

对于间接探测的方案，由于系统获取所需输入信息的渠道是来自于各种反应车辆自身运行状态的传感器，这些传感器信息虽然能够精确表达车辆当前的运行状态，但系统并未包含感知道路路况的传感器，即车辆当前行驶的环境工况，如“当前行驶道路的曲率半径”以及“本车是否在车道内行驶”等信息，因此导致系统的误判率偏高；

发明内容

本发明为了解决上述问题，提供了一种基于单目视觉的自适应驾驶员注意力状态分析系统和分析方法。

本方法在分析驾驶员的注意力状态时，使用的输入信息不仅包含了驾驶员在当前车辆的驾驶行为、车辆的运行姿态信息，还包含了本车在当前所处的道路环境信息；上述三个因素是互相影响互相作用的；驾驶员的驾驶行为要与当前的环境道况相适应；而驾驶员的驾驶行为和当前道路工况又共同决定当前车辆的运行姿态；进而车辆当前的运行状态又会影响驾驶员的驾驶行为；这三个因素共同决定了整个驾驶过程中驾驶员的驾驶表现，并可反映出驾驶员在当前路段的注意力集中状态；本方法中，道路环境信息的加入使得在分析评价驾驶员的驾驶表现时形成了一个完整的闭环，驾驶员的驾驶行为需要结合当前路段的道路环境信息综合分析，从而提高了分析驾驶员注意力集中状态的准确性；

在本方法中，道路环境信息的获取采用架设在驾驶室内车辆前风挡玻璃中部的单目摄像头采集；摄像头的光轴水平向前朝向车辆正前方；在车辆行驶过程中，单目摄像头可实时获取车辆前方道路视频图像数据，并实时检测识别前方道路上的车道线标记、车道线的曲率半径、本车相对两侧车道线的横向距离与接近速度等信息；这些信息共同服务于驾驶员注意力集中状态的判断；

在本方法中，在评价驾驶员开车时的注意力集中状态时，采用了注意力状态判定阈值自适应的动态调整的机制；使得在分析驾驶员的注意力集中状态时更加符合实际；

本发明与现有技术相比，具有以下优点和有益效果：

本发明在分析驾驶员开车时的注意力状态时，综合考虑了驾驶员的驾驶行为、本车车辆的运行状态、当前路段的道路环境信息三方面的因素；将驾驶员的驾驶行为与当前的路况环境情况进行匹配，从而可以更加贴近实际的评价驾驶员在当前路段的驾驶表现；自适应动态调整的驾驶员注意力状态判定阈值机制，进一步提高了分析驾驶员开车时注意力集中状态的准确性；

附图说明

图1是本发明的系统构成示意图。

图2是本发明的系统驾驶员注意力状态检测原理示意图。

图3是本发明的系统驾驶员注意力状态判定方法示意图。

具体实施方式

如图1所示，本发明的基于单目视觉的自适应驾驶员注意力状态分析系统，包括驾驶行为检测装置1、车辆状态检测装置2、道路环境状况检测装置3、驾驶员注意力状态检测装置4、车载人机交互装置5；

驾驶行为检测装置1、车辆状态检测装置2、道路环境状况检测装置3与驾驶员注意力状态检测装置4连接，驾驶员注意力状态检测装置4与车载人机交互装置5连接；

驾驶行为检测装置1用于获取驾驶员的驾驶行为，用于采集包括驾驶是否主动才制动踏板，是否主动制动，主动转向等信息；

车辆状态检测装置2用于获取当前车辆的运行状态信息，用于采集包括当前车辆速度、横摆角/横/纵向加速度等信息；

道路环境检测装置3用于获取当前道路环境状况，用于采集包括本车所处车道、本距离两侧道线的距离，前方车道的曲率半径等信息；系统使用单目前视摄像头实时采集本车前方的车道信息；

驾驶员注意力状态检测装置4用于分析决策；

车载人机交互装置5用于警示及提示信息的输出，系统的使能也由车载人机交互装置5实现；

本发明的基于单目视觉的自适应驾驶员注意力状态分析方法，该方法是：

系统在分析驾驶员开车时的注意力集中状态时，需要综合考虑诸多的输入因素；通过从“输入1”到“输入8”的采集信息，系统可以实时感知驾驶员当前的驾驶行为；由输入1，系统可检测驾驶员操作方向盘的角度；由输入2，系统可检测驾驶员操作方向盘的速度；由输入3，系统可检测驾驶员是否操作了转向开关；由输入4，系统可检测驾驶员操作方向盘的力度以及检测驾驶员是否脱手方向盘；由输入5，系统可检测驾驶员是否踩下制动踏板；由输入6，系统可检测驾驶员是否踩下加速踏板；由输入7，系统可检测驾驶员操作加速踏板的速度；由输入8，系统可检测驾驶员操作远近灯的状态通过从“输入9”到“输入14”的采集信息，系统可以实时感知当前车辆的运行状态；由输入10，系统可获知本车当前横摆角姿态，进而可获知本车是在直线行驶还是在有转弯的趋势；由输入11，系统可获知本车当前的横向及纵向加速度的状态；由输入12，系统可获知本车当前驾驶员安全带的状态；由输入13，系统可获知本车当前车门的状态；由输入14，系统可获知当前点火循环中车辆的运行时间，进而可具体检测本车处于停车状态的保持时间、距离上一次触发注意力提醒的时间；

通过从“输入15”到“输入20”的采集信息，系统可以实时感知当前道路环境的状况信息；由输入15，系统可获知本车前方的车道是直路还是弯路，若为弯路并可获知弯道的半径，从而判断本车当前是否即将行驶如弯道；由输入16，系统可获知本车前方当前车道的宽度；由输入17，系统获知本车距离两侧车道线的距离，进而可知本车在当前车道内的位置、本车是否压线行驶；由输入18，系统获知本车相对车道线的横向速度，进而可以检测本车是否正在变道；由输入19，系统可以获知是否发生了车道偏离警示；由输入20，系统可获知本车前方车道内及邻近车道内是否有接近的车辆，进而当前驾驶工况中的车辆密度情况；

系统在判定驾驶员的注意力状态时，使用驾驶员注意力状态指数进行判定；当注意力状态指数越高，则认为驾驶员开车时的注意力状态越差；反之注意力指数越低，则认为驾驶员开车时的注意力集中状态越好；驾驶员注意力指数，借助“条件1”到“条件13”的变化进行自适应动态修正；系统会将从“输入1”到“输入19”的输入信息进行综合处理，将其转换为“条件1”到“条件12”的判定条件；条件1到条件3，分别记录了一段加时间内驾驶员主动加速、主动转向、主动制动的频次，该数值越大，则说明驾驶员在该段驾驶时间内主动介入车辆控制的动作更为频繁，进而表明驾驶员的注意力状态越好；条件4记录了一段时间内驾驶员主动切换远近光灯的频次，当远光灯状态频繁亮灭则说明驾驶员可能正在使用光喇叭的功能，进而间接表明驾驶员注意力状态较好；条件5记录了驾驶员一段时间内操作转向开关的频次，此数值越高，则可能表明驾驶员主动变道超车或转弯的情况的较多，进而间接表明驾驶员注意力状态较好；条件7和条件8，分别记录了一段时间内发生车道偏离警示的频次以及发生驾驶员脱手方向盘的频次，此种事件频次越高，则间接说明驾驶员注意力状态越差；条件9记录了驾驶员在当前驾驶员循环中的累计驾驶时间，当驾驶员的长时间疲劳驾驶，则驾驶员的注意力状态越差；条件10记录了距离上一次系统触发驾驶员注意力提醒的时间，该条件用于避免短时间内的连续警示触发，并一旦系统检测到驾驶员注意力状态警示在短时间内多次触发，系统的警示级别将会升级；条件11到条件13是驾驶员注意力状态指数重置的条件，分别记录了车辆处于停车不熄火状态的持续时间、驾驶员解开安全带并打开车门的事件、以及驾驶员熄火发动机的事件；

对应于从条件1到条件13的不同监控事件触发，都将导致驾驶员注意力状态指数发生变化；驾驶员注意力状态指示的变化包括：注意力指数增加、注意力指数降低、注意力指数重置；不同的监控事件在改变注意力指数时并不是等同的，正对每一个事件条件，系统引入加权因子的作用影响，从而使得注意力状态指数的变化更加可以符合真实的驾驶情况；当系统检测的驾驶员注意力状态评价指数到达预设警示阈值，则即触发驾驶员注意力状态报警，从而可以提醒驾驶员不要疲劳驾驶。

Claims (2)

1.一种基于单目视觉的自适应驾驶员注意力状态分析系统，其特征在于：包括驾驶行为检测装置(1)、车辆状态检测装置(2)、道路环境状况检测装置(3)、驾驶员注意力状态检测装置(4)、车载人机交互装置(5)；

驾驶行为检测装置(1)、车辆状态检测装置(2)、道路环境状况检测装置(3)与驾驶员注意力状态检测装置(4)连接，驾驶员注意力状态检测装置(4)与车载人机交互装置(5)连接；

驾驶行为检测装置(1)用于获取驾驶员的驾驶行为，用于采集包括驾驶是否主动才制动踏板，是否主动制动，主动转向信息；

车辆状态检测装置(2)用于获取当前车辆的运行状态信息，用于采集包括当前车辆速度、横摆角/横/纵向加速度信息；

道路环境检测装置(3)用于获取当前道路环境状况，用于采集包括本车所处车道、本距离两侧道线的距离，前方车道的曲率半径等信息；系统使用单目前视摄像头实时采集本车前方的车道信息；

驾驶员注意力状态检测装置(4)用于分析决策；

车载人机交互装置(5)用于警示及提示信息的输出，系统的使能也由车载人机交互装置(5)实现。

2.权利要求1所述基于单目视觉的自适应驾驶员注意力状态分析系统的分析方法，其特征在于：该方法是：

系统在分析驾驶员开车时的注意力集中状态时，需要综合考虑诸多的输入因素；通过从“输入1”到“输入8”的采集信息，系统可以实时感知驾驶员当前的驾驶行为；由输入1，系统可检测驾驶员操作方向盘的角度；由输入2，系统可检测驾驶员操作方向盘的速度；由输入3，系统可检测驾驶员是否操作了转向开关；由输入4，系统可检测驾驶员操作方向盘的力度以及检测驾驶员是否脱手方向盘；由输入5，系统可检测驾驶员是否踩下制动踏板；由输入6，系统可检测驾驶员是否踩下加速踏板；由输入7，系统可检测驾驶员操作加速踏板的速度；由输入8，系统可检测驾驶员操作远近灯的状态通过从“输入9”到“输入14”的采集信息，系统可以实时感知当前车辆的运行状态；由输入10，系统可获知本车当前横摆角姿态，进而可获知本车是在直线行驶还是在有转弯的趋势；由输入11，系统可获知本车当前的横向及纵向加速度的状态；由输入12，系统可获知本车当前驾驶员安全带的状态；由输入13，系统可获知本车当前车门的状态；由输入14，系统可获知当前点火循环中车辆的运行时间，进而可具体检测本车处于停车状态的保持时间、距离上一次触发注意力提醒的时间；

通过从“输入15”到“输入20”的采集信息，系统可以实时感知当前道路环境的状况信息；由输入15，系统可获知本车前方的车道是直路还是弯路，若为弯路并可获知弯道的半径，从而判断本车当前是否即将行驶如弯道；由输入16，系统可获知本车前方当前车道的宽度；由输入17，系统获知本车距离两侧车道线的距离，进而可知本车在当前车道内的位置、本车是否压线行驶；由输入18，系统获知本车相对车道线的横向速度，进而可以检测本车是否正在变道；由输入19，系统可以获知是否发生了车道偏离警示；由输入20，系统可获知本车前方车道内及邻近车道内是否有接近的车辆，进而当前驾驶工况中的车辆密度情况；

如图3所示，系统在判定驾驶员的注意力状态时，使用驾驶员注意力状态指数进行判定；当注意力状态指数越高，则认为驾驶员开车时的注意力状态越差；反之注意力指数越低，则认为驾驶员开车时的注意力集中状态越好；驾驶员注意力指数，借助“条件1”到“条件13”的变化进行自适应动态修正；系统会将从“输入1”到“输入19”的输入信息进行综合处理，将其转换为“条件1”到“条件12”的判定条件；条件1到条件3，分别记录了一段加时间内驾驶员主动加速、主动转向、主动制动的频次，该数值越大，则说明驾驶员在该段驾驶时间内主动介入车辆控制的动作更为频繁，进而表明驾驶员的注意力状态越好；条件4记录了一段时间内驾驶员主动切换远近光灯的频次，当远光灯状态频繁亮灭则说明驾驶员可能正在使用光喇叭的功能，进而间接表明驾驶员注意力状态较好；条件5记录了驾驶员一段时间内操作转向开关的频次，此数值越高，则可能表明驾驶员主动变道超车或转弯的情况的较多，进而间接表明驾驶员注意力状态较好；条件7和条件8，分别记录了一段时间内发生车道偏离警示的频次以及发生驾驶员脱手方向盘的频次，此种事件频次越高，则间接说明驾驶员注意力状态越差；条件9记录了驾驶员在当前驾驶员循环中的累计驾驶时间，当驾驶员的长时间疲劳驾驶，则驾驶员的注意力状态越差；条件10记录了距离上一次系统触发驾驶员注意力提醒的时间，该条件用于避免短时间内的连续警示触发，并一旦系统检测到驾驶员注意力状态警示在短时间内多次触发，系统的警示级别将会升级；条件11到条件13是驾驶员注意力状态指数重置的条件，分别记录了车辆处于停车不熄火状态的持续时间、驾驶员解开安全带并打开车门的事件、以及驾驶员熄火发动机的事件；

对应于从条件1到条件13的不同监控事件触发，都将导致驾驶员注意力状态指数发生变化；驾驶员注意力状态指示的变化包括：注意力指数增加、注意力指数降低、注意力指数重置；不同的监控事件在改变注意力指数时并不是等同的，正对每一个事件条件，系统引入加权因子的作用影响，从而使得注意力状态指数的变化更加可以符合真实的驾驶情况；当系统检测的驾驶员注意力状态评价指数到达预设警示阈值，则即触发驾驶员注意力状态报警，从而可以提醒驾驶员不要疲劳驾驶。