CN113378771B - 驾驶员状态确定方法、装置、驾驶员监控系统、车辆 - Google Patents

驾驶员状态确定方法、装置、驾驶员监控系统、车辆 Download PDF

Info

Publication number
CN113378771B
CN113378771B CN202110720648.6A CN202110720648A CN113378771B CN 113378771 B CN113378771 B CN 113378771B CN 202110720648 A CN202110720648 A CN 202110720648A CN 113378771 B CN113378771 B CN 113378771B
Authority
CN
China
Prior art keywords
sight line
driver
determining
area
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110720648.6A
Other languages
English (en)
Other versions
CN113378771A (zh
Inventor
杨晓晖
张樱己
冯志全
韩士元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202110720648.6A priority Critical patent/CN113378771B/zh
Publication of CN113378771A publication Critical patent/CN113378771A/zh
Application granted granted Critical
Publication of CN113378771B publication Critical patent/CN113378771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Eye Examination Apparatus (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于计算机视觉技术领域，提供了一种驾驶员状态确定方法、装置、驾驶员监控系统、车辆。该方法包括：获取预设时长内的目标图像帧，判断驾驶员连续注视设定区域的时间是否达到预设的时间阈值，若是，则确定所述驾驶员处于视线分心驾驶状态；否则，确定驾驶员视线分布的预设视线集中区域，基于预设视线集中区域的不同计算相应的视线活跃度，判断得到的视线活跃度是否小于预设视线集中区域对应的设定的阈值，若是，则确定所述驾驶员处于认知分心驾驶状态；否则，则确定所述驾驶员处于正常驾驶状态。

Description

驾驶员状态确定方法、装置、驾驶员监控系统、车辆
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种驾驶员状态确定方法、装置、驾驶员监控系统、车辆。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
汽车工业的大规模发展增强了汽车技术，使得基本可以在硬件方面确保安全，但每天仍有大量的交通事故发生，其中有25％的碰撞事故源于驾驶员的注意力不集中，如分心、疲劳等状态。因此，对驾驶员的驾驶状态进行监控是很有必要的。
驾驶分心即驾驶员将注意力从驾驶任务中移开并转移到次级任务中，尽管分心是一种认知状态，研究人员还是把驾驶分心分为了几类，主要的有手动分心、视觉分心和认知分心三个方面：手动分心，指驾驶员在驾驶过程中手离开方向盘进行吃东西、打电话等无关行为；视觉分心，指驾驶员视线离开了前方道路，转而看车后座、风景、其他乘客等与驾驶过程无关的人和物；认知分心，指驾驶员大脑在思考与驾驶任务无关的事情但视线并未离开道路。在这当中，认知分心是最难评估的分心类型，因为很难观察驾驶员的大脑(相对于手或眼睛)在做什么。
近几年在各类以驾驶员为主体的驾驶分心识别方法中，根据输入数据类型的不同可以分为基于生理指标和基于视觉指标两种。基于生理指标的分心识别主要是将心率、脑电信号等驾驶员的生理信息作为输入数据进行识别，通常使用的是模拟驾驶器和侵入设备来提取驾驶员的生理指标。这种方法能够直观的反应驾驶员状态的变化，但由于自然数据提取需得用复杂昂贵的侵入式设备，并在实际情况下对驾驶员影响较大，因此通常只在模拟环境中作为辅助使用；基于视觉指标的分心识别一般是利用眼动仪等设备提取眼睛注视信息，或是采用放置在驾驶室内的车载摄像头采集驾驶数据，以提取驾驶员脸部、眼睛、身体及各个关节点的特征。与前者相比，这种方法数据提取简单且基本无侵入，在最近的研究中广泛运用。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种驾驶员状态确定方法、装置、驾驶员监控系统、车辆，基于视觉指标的驾驶分心识别，以驾驶员的面部，主要是眼睛作为特征输入到多通道卷积神经网络中进行凝视区域识别，再根据单个时间窗内的视线信息计算多个指标，实现了对驾驶员是否处于视线分心和认知分心的判断。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种驾驶员状态确定方法。
一种驾驶员状态确定方法，包括：
获取预设时长内的目标图像帧，判断驾驶员连续注视设定区域的时间是否达到预设的时间阈值，若是，则确定所述驾驶员处于视线分心驾驶状态；
否则，确定驾驶员视线分布的预设视线集中区域，基于预设视线集中区域的不同计算相应的视线活跃度，判断得到的视线活跃度是否小于预设视线集中区域对应的设定的阈值，若是，则确定所述驾驶员处于认知分心驾驶状态；否则，则确定所述驾驶员处于正常驾驶状态。
在一种可选的实现方式中，所述驾驶员处于认知分心驾驶状态确定的过程包括：
基于驾驶员视线，确定驾驶员视线分布的第一视线集中区域或第二视线集中区域或第三视线集中区域；
若驾驶员视线分布在第一视线集中区域，采用第一视线活跃度模型计算视线活跃度，若得到的视线活跃度小于设定第一阈值，确定所述驾驶员处于认知分心驾驶状态；
若驾驶员视线分布在第二视线集中区域或者第三视线集中区域，采用第二视线活跃度模型计算视线活跃度，若得到的视线活跃度小于设定第二阈值，确定所述驾驶员处于认知分心驾驶状态。
在一种可选的实现方式中，所述获取预设时长内的目标图像帧包括：
获取驾驶员的视频帧数据，每秒提取设定的帧数；
采用OpenCV方法对提取的设定帧数的视频帧数据进行标注，得到左眼、右眼、脸部和头部四种类型的目标图像。
在一种可选的实现方式中，将左眼、右眼、脸部和头部四种类型的目标图像输入训练好的四通道卷积神经网络，识别驾驶员的视线区域。
在一种可选的实现方式中，所述设定区域为驾驶室内区域，所述驾驶室内区域包括仪表盘和控制台。
在一种可选的实现方式中，所述确定驾驶员视线分布的预设视线集中区域包括：根据当前时间窗得到的视线区域信息，使用K-means聚类计算驾驶员视线分布的预设视线集中区域。
本发明的第二个方面提供一种驾驶员状态确定装置。
一种驾驶员状态确定装置，包括：
获取模块，用于获取预设时长内的目标图像帧；
确定模块，用于判断驾驶员连续注视设定区域的时间是否达到预设的时间阈值，若是，则确定所述驾驶员处于视线分心驾驶状态；否则，确定驾驶员视线分布的预设视线集中区域，基于预设视线集中区域的不同计算相应的视线活跃度，判断得到的视线活跃度是否小于预设视线集中区域对应的设定的阈值，若是，则确定所述驾驶员处于认知分心驾驶状态；否则，则确定所述驾驶员处于正常驾驶状态。
本发明的第三个方面提供一种驾驶员监控系统。
一种驾驶员监控系统，包括：
显示模块，用于显示驾驶员状态确定结果；
驾驶员状态确定模块，用于采用权利要求1-6任一项所述的驾驶员状态确定方法对所述驾驶员图像进行驾驶员状态确定。
本发明的第四个方面提供一种车辆。
一种车辆，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，该程序被处理器执行时实现如第一个方面所述的驾驶员状态确定方法中的步骤。
本发明的第五个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的驾驶员状态确定方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供的驾驶员状态确定方法、装置、驾驶员监控系统、车辆，可以精确的确定驾驶员的驾驶状态，提高了驾驶状态判断的准确性，实现了驾驶员状态的视线检测，以便于在驾驶员的驾驶状态较差时及时采取相应的措施，保证安全驾驶，避免发生道路交通事故。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明驾驶员状态确定方法的流程图；
图2是本发明驾驶员状态确定方法的结构图；
图3是本发明驾驶员凝视区域分布图；
图4(a)是本发明视线在左侧区域的聚类分布图；
图4(b)是本发明视线在中间区域的聚类分布图；
图4(c)是本发明视线在右侧区域的聚类分布图；
图5(a)是本发明阈值在左侧区域分心检测中的表现图；
图5(b)是本发明阈值在中间区域分心检测中的表现图；
图5(c)是本发明阈值在右侧区域分心检测中的表现图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例一
如图1-2所示，本实施例提供了一种驾驶员状态确定方法，包括：
获取预设时长内的目标图像帧，判断驾驶员连续注视设定区域的时间是否达到预设的时间阈值，若是，则确定所述驾驶员处于视线分心驾驶状态；
否则，确定驾驶员视线分布的预设视线集中区域，基于预设视线集中区域的不同计算相应的视线活跃度，判断得到的视线活跃度是否小于预设视线集中区域对应的设定的阈值，若是，则确定所述驾驶员处于认知分心驾驶状态；否则，则确定所述驾驶员处于正常驾驶状态。
具体的，本实施可以通过以下过程实现：
第一部分，数据采集和预处理。模型训练和测试所用的数据皆为自主采集的真实驾驶环境下的自然眼动数据。以驾驶员的角度把车内区域分为9个区域(图3)，主要包括了左右镜、后视镜、前挡风玻璃、仪表盘以及控制台区域。在采集时，将行车记录仪安置在后视镜附近，该设备可以采集每秒30帧的彩色视频流，分辨率为1920*1080像素。选取驾驶人员参与采集，要求他们分别在同一辆车内依次注视9个区域，获取静态数据集供模型训练使用；另外采集自然驾驶状态下分心和未分心的视频数据，用于后续的阈值选取实验及模型测试。采集完成后，把彩色视频流转化成视频帧数据，每秒提取的图像帧数fps＝3，然后将得到的视频帧数据通过OpenCV等方式对图像中脸部坐标进行标注，分别提取左眼、右眼、脸部和头部四张子图像保存。由于数据量太大，最终将保存好的图像数据转换成TFRecords格式使用。
第二部分，注视区域识别。该模块使用四通道卷积神经网络识别驾驶员视线区域，在训练时，将预处理好的人脸四部分静态数据分别输入到模型的四个通道里学习；在测试时，我们将采集好的总时长为T的驾驶分心视频分解为连续的5s一组的视频帧，利用训练好的权重识别视线区域并将区域数据按时间窗保存，用于分心检测算法的计算和分析。
其中，四通道卷积神经网络中使用的基础模型是一个有四层卷积层的CNN模型。第一个卷积层采用了较大的7*7的卷积核，步长为4；第二个卷积层和第三个卷积层使用5*5的卷积核，步长为8；最后一个卷积层使用5*5的卷积核，步长为200。四个通道的输入经过了这四层卷积分别提取出各自的特征。在特征融合时，首先把左右眼睛的特征融合起来，得到眼睛的整体特征。由于眼睛中所包含的信息相较于脸部和头部比较简单，因此只使用一层全连接层。接着将通过两个全连接层的脸部和头部特征与已经处理好的双眼特征进行融合，再通过一次全连接得到eyeface_net。然后利用SoftMax分类器分类凝视区域。
第三部分，驾驶分心检测。在本实施例中，输出的驾驶状态结果有三类：正常驾驶、视线分心和认知分心。首先将连续注视驾驶室内区域(仪表盘和控制台，不包括所有后视镜)两秒作为判断标准。设置一秒提取的视频帧fps＝3，一个时间窗t＝5s。当检测到一个时间窗内连续6帧看车内区域时，判断驾驶员处于视线分心。由于不同的视线集中区(如左转、右转、直行等集中区域不同)会导致视线活跃度有较大差别，因此我们将驾驶过程中的视线集中区域分为左、右、中三大类，根据当前时间窗得到的视线区域信息，使用K-means聚类计算集中区域，它的主要思想是在给定K值和K个初始类簇中心点的情况下，把每个点分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据同一类簇内的所有点重新计算该类簇的中心点。为了使注视信息表现得更为直观，在聚类时重新定义了9个注视区域，把它们以平面坐标表示出来，具体为0：(0,0)、1：(1,2)、2：(1,1)、3：(1,0)、4：(2,2)、5：(2,-1)、6：(3,2)、7：(3,1)、8：(4,0)。图4(a)-图4(c)为单一时间窗内驾驶员视线的K-means聚类分布。我们将A定义为单一时间窗的类簇中心值，不同区域的中心值范围在多次实验后获得，左侧区域：A<1.1，中间区域：1.1<A<2，右侧区域：A>2。
得到视线的具体集中区域之后，计算驾驶员视线活跃度。通过各部分数据的对比发现，当驾驶员视线集中于左侧区域时，因视线活动范围较小，活跃度也会比其他两个区域小，反而不易混淆分心和未分心状态。因此提出左侧活跃度VL计算公式如下：
Figure BDA0003136405590000091
其中，fps为每秒提取的帧数，t为一个时间窗的时间，gi为每一帧的注视区域。
当驾驶员视线集中于右侧或中部区域时，两者在前挡风玻璃处存在较大的交叉部分，且视线活动范围过大，稍一变换视线便会使视线活跃度发生很大变化。因此为了不因阈值差别过小产生不必要的误差，对活跃度计算方式做了部分改动，中部和右侧活跃度VMR如下：
Figure BDA0003136405590000092
利用上述算法计算出时间窗内驾驶员视线活跃度，即可根据接下来实验得出的不同阈值判断驾驶员状态，其中，若得到的视线活跃度小于阈值，当前驾驶员状态表现为认知分心。图5(a)-图5(c)为设置的阈值在驾驶分心检测中的表现。
本实施例提出的方法首先利用多通道卷积神经网络分类驾驶员视线区域，然后检测驾驶员是否连续两秒未注意道路。接着，利用K-means均值聚类确定一段时间内的视线集中区域，并进行视线活跃度计算，当驾驶员处于认知分心时，视线活跃度会比正常驾驶状态明显降低。因此通过实验确定视线活跃度阈值，以此达到判断是否认知分心的目的。
实施例二
本实施例提供了一种驾驶员状态确定装置。
一种驾驶员状态确定装置，包括：
获取模块，用于获取预设时长内的目标图像帧；
确定模块，用于判断驾驶员连续注视设定区域的时间是否达到预设的时间阈值，若是，则确定所述驾驶员处于视线分心驾驶状态；否则，确定驾驶员视线分布的预设视线集中区域，基于预设视线集中区域的不同计算相应的视线活跃度，判断得到的视线活跃度是否小于预设视线集中区域对应的设定的阈值，若是，则确定所述驾驶员处于认知分心驾驶状态；否则，则确定所述驾驶员处于正常驾驶状态。
本实施例所述的装置主要集成了基于两秒准则的视线分心检测算法和基于视线活跃度的认知分心检测算法。
第一，提出基于两秒准则的视线分心检测算法：视线分心可以定义为把注意力从道路上移开，转移到其他事物。驾驶员的视线停留在车内1.6s造成了80％的撞车事故，而当视线停留在车里超过2s，事故发生的概率会上升三倍以上。因此，将连续注视驾驶室内区域(仪表盘和控制台，不包括所有后视镜)两秒作为判断标准。设置一秒提取的视频帧fps＝3，当检测到一个时间窗内连续六帧看车内区域时，判断驾驶员处于视线分心。
第二，提出基于视线活跃度的认知分心检测算法：认知分心由于其仅是大脑分心，视线基本未偏离道路的特殊性，很难从图像中直观地辨别出，因此可以通过驾驶员单位时间内扫视频率变化来判断，也就是视线活跃度，当其处于认知分心状态时，眼睛扫视道路的频率会由于大脑注意力的转移而减小，甚至呈现发呆状态。经过实验发现，不同的视线集中区(如左转、右转、直行等集中区域不同)会导致视线活跃度有较大差别，因此将驾驶过程中的视线集中区域分为左、右、中三大类，根据当前时间窗得到的视线区域信息计算具体的集中区域，接着根据每个区域的阈值判断驾驶员状态，若小于阈值，当前驾驶员状态表现为认知分心。
实施例三
本实施例提供了一种驾驶员监控系统。
一种驾驶员监控系统，包括：
显示模块，用于显示驾驶员状态确定结果；
驾驶员状态确定模块，用于采用上述实施例一所述的驾驶员状态确定方法对所述驾驶员图像进行驾驶员状态确定。
显示模块包括显示器和报警模块，显示器用于显示驾驶员当前处于视线分心还是认知分心；报警模块用于当驾驶员处于视线分心或者认知分心时，发出报警，提醒驾驶员。
实施例四
本实施例提供了一种车辆。
一种车辆，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，该程序被处理器执行时实现如实施例一所述的驾驶员状态确定方法中的步骤。
实施例五
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的驾驶员状态确定方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种驾驶员状态确定方法，其特征在于，包括：
获取预设时长内的目标图像帧，判断驾驶员连续注视设定区域的时间是否达到预设的时间阈值，若是，则确定所述驾驶员处于视线分心驾驶状态；
否则，确定驾驶员视线分布的预设视线集中区域，基于预设视线集中区域的不同计算相应的视线活跃度，判断得到的视线活跃度是否小于预设视线集中区域对应的设定的阈值，若是，则确定所述驾驶员处于认知分心驾驶状态；否则，则确定所述驾驶员处于正常驾驶状态；
所述驾驶员处于认知分心驾驶状态确定的过程包括：
基于驾驶员视线，确定驾驶员视线分布的第一视线集中区域或第二视线集中区域或第三视线集中区域；
若驾驶员视线分布在第一视线集中区域，采用第一视线活跃度模型计算视线活跃度，若得到的视线活跃度小于设定第一阈值，确定所述驾驶员处于认知分心驾驶状态；
若驾驶员视线分布在第二视线集中区域或者第三视线集中区域，采用第二视线活跃度模型计算视线活跃度，若得到的视线活跃度小于设定第二阈值，确定所述驾驶员处于认知分心驾驶状态；
所述第一视线活跃度模型为：
Figure FDA0003685841050000011
所述第二视线活跃度模型为：
Figure FDA0003685841050000012
其中，fps为每秒提取的帧数，t为一个时间窗的时间，gi为每一帧的注视区域；将A定义为单一时间窗的类簇中心值，第一视线集中区域：A<1.1，第二视线集中区域：1.1<A<2，第三视线集中区域：A>2；
所述确定驾驶员视线分布的预设视线集中区域包括：根据当前时间窗得到的视线区域信息，使用K-means聚类计算驾驶员视线分布的预设视线集中区域。
2.根据权利要求1所述的驾驶员状态确定方法，其特征在于，所述获取预设时长内的目标图像帧包括：
获取驾驶员的视频帧数据，每秒提取设定的帧数；
采用OpenCV方法对提取的设定帧数的视频帧数据进行标注，得到左眼、右眼、脸部和头部四种类型的目标图像。
3.根据权利要求2所述的驾驶员状态确定方法，其特征在于，将左眼、右眼、脸部和头部四种类型的目标图像输入训练好的四通道卷积神经网络，识别驾驶员的视线区域。
4.根据权利要求1所述的驾驶员状态确定方法，其特征在于，所述设定区域为驾驶室内区域，所述驾驶室内区域包括仪表盘和控制台。
5.一种驾驶员状态确定装置，其特征在于，包括：
获取模块，用于获取预设时长内的目标图像帧；
确定模块，用于判断驾驶员连续注视设定区域的时间是否达到预设的时间阈值，若是，则确定所述驾驶员处于视线分心驾驶状态；否则，确定驾驶员视线分布的预设视线集中区域，基于预设视线集中区域的不同计算相应的视线活跃度，判断得到的视线活跃度是否小于预设视线集中区域对应的设定的阈值，若是，则确定所述驾驶员处于认知分心驾驶状态；否则，则确定所述驾驶员处于正常驾驶状态；
所述驾驶员处于认知分心驾驶状态确定的过程包括：
基于驾驶员视线，确定驾驶员视线分布的第一视线集中区域或第二视线集中区域或第三视线集中区域；
若驾驶员视线分布在第一视线集中区域，采用第一视线活跃度模型计算视线活跃度，若得到的视线活跃度小于设定第一阈值，确定所述驾驶员处于认知分心驾驶状态；
若驾驶员视线分布在第二视线集中区域或者第三视线集中区域，采用第二视线活跃度模型计算视线活跃度，若得到的视线活跃度小于设定第二阈值，确定所述驾驶员处于认知分心驾驶状态；
所述第一视线活跃度模型为：
Figure FDA0003685841050000031
所述第二视线活跃度模型为：
Figure FDA0003685841050000032
其中，fps为每秒提取的帧数，t为一个时间窗的时间，gi为每一帧的注视区域；将A定义为单一时间窗的类簇中心值，第一视线集中区域：A<1.1，第二视线集中区域：1.1<A<2，第三视线集中区域：A>2；
所述确定驾驶员视线分布的预设视线集中区域包括：根据当前时间窗得到的视线区域信息，使用K-means聚类计算驾驶员视线分布的预设视线集中区域。
6.一种驾驶员监控系统，其特征在于，包括：
显示模块，用于显示驾驶员状态确定结果；
驾驶员状态确定模块，用于采用权利要求1-4任一项所述的驾驶员状态确定方法对所述驾驶员图像进行驾驶员状态确定。
7.一种车辆，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的驾驶员状态确定方法中的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的驾驶员状态确定方法中的步骤。
CN202110720648.6A 2021-06-28 2021-06-28 驾驶员状态确定方法、装置、驾驶员监控系统、车辆 Active CN113378771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110720648.6A CN113378771B (zh) 2021-06-28 2021-06-28 驾驶员状态确定方法、装置、驾驶员监控系统、车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110720648.6A CN113378771B (zh) 2021-06-28 2021-06-28 驾驶员状态确定方法、装置、驾驶员监控系统、车辆

Publications (2)

Publication Number Publication Date
CN113378771A CN113378771A (zh) 2021-09-10
CN113378771B true CN113378771B (zh) 2022-07-26

Family

ID=77579430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110720648.6A Active CN113378771B (zh) 2021-06-28 2021-06-28 驾驶员状态确定方法、装置、驾驶员监控系统、车辆

Country Status (1)

Country Link
CN (1) CN113378771B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114162130B (zh) * 2021-10-26 2023-06-20 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质
CN114332451A (zh) * 2021-12-07 2022-04-12 虹软科技股份有限公司 分心区域的自动标定方法及装置、道路车辆、电子设备
CN114132329B (zh) * 2021-12-10 2024-04-12 智己汽车科技有限公司 一种驾驶员注意力保持方法及系统
CN114399753A (zh) * 2022-03-25 2022-04-26 北京魔门塔科技有限公司 分心判断方法、装置、存储介质、电子设备及车辆
CN115984787A (zh) * 2023-03-20 2023-04-18 齐鲁云商数字科技股份有限公司 一种产业大脑公交智能车载实时告警方法
CN116052136B (zh) * 2023-03-27 2023-09-05 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质
CN116912808B (zh) * 2023-09-14 2023-12-01 四川公路桥梁建设集团有限公司 架桥机控制方法、电子设备和计算机可读介质
CN117257308B (zh) * 2023-10-30 2024-08-16 王振岭 基于驾驶员眼动信息的驾驶员认知分心检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809152A (zh) * 2016-04-06 2016-07-27 清华大学 一种基于多源信息融合的驾驶员认知分心监测方法
TW202036465A (zh) * 2019-03-18 2020-10-01 大陸商北京市商湯科技開發有限公司 駕駛員注意力監測方法和裝置及電子設備

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273805A (zh) * 2017-05-18 2017-10-20 江苏大学 一种基于视觉特性的gm‑hmm预测驾驶行为方法
CN111460950B (zh) * 2020-03-25 2023-04-18 西安工业大学 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
CN112215120B (zh) * 2020-09-30 2022-11-22 山东理工大学 视觉搜索区域的确定方法、装置及驾驶模拟器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809152A (zh) * 2016-04-06 2016-07-27 清华大学 一种基于多源信息融合的驾驶员认知分心监测方法
TW202036465A (zh) * 2019-03-18 2020-10-01 大陸商北京市商湯科技開發有限公司 駕駛員注意力監測方法和裝置及電子設備

Also Published As

Publication number Publication date
CN113378771A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113378771B (zh) 驾驶员状态确定方法、装置、驾驶员监控系统、车辆
DE102004022581B4 (de) Fahrerassistenzsystem
Doshi et al. A comparative exploration of eye gaze and head motion cues for lane change intent prediction
CN110826369A (zh) 一种驾驶员驾驶时注意力检测方法和系统
WO2015106690A1 (zh) 一种驾驶员安全驾驶状态检测方法及装置
DE102018207069A1 (de) Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
EP2986225B1 (de) Verfahren zur bestimmung, ob ein insasse eines fahrzeugs relevante objekte im umfeld des fahrzeugs bemerkt
JPWO2008029802A1 (ja) 走行情報提供装置
EP1617371A2 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
CN105286802A (zh) 基于视频信息的驾驶员疲劳检测方法
CN110781718B (zh) 一种驾驶室红外视觉系统及驾驶员注意力分析方法
Kang et al. Analysis of vehicle maneuverability and driving characteristics on a curved road condition
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
CN111626221A (zh) 一种基于人眼信息增强的驾驶员注视区域估计方法
KR20190063582A (ko) 전달 학습을 통한 운전자의 시선 응시영역 추정 방법
DE102020215667A1 (de) System und verfahren zum überwachen eines kognitiven zustands eines fahrers eines fahrzeugs
DE102008059269A1 (de) Verfahren zur Verbesserung der Rundumsicht bei einem Fahrzeug sowie Fahrzeug mit verbesserter Rundumsicht
CN117227740B (zh) 一种智能驾驶车辆的多模态感知系统及方法
DE112019007195B4 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
Guo et al. Monitoring and detection of driver fatigue from monocular cameras based on Yolo v5
Ahlstrom et al. A generalized method to extract visual time-sharing sequences from naturalistic driving data
DE102014100965B4 (de) Fahrerassistenzsystem
CN115923812A (zh) 一种驾驶员分心驾驶识别方法、装置及存储介质
WO2016096446A1 (de) Vordergrund-hintergrund differenzierung im fahrzeug
DE102022115531A1 (de) Verfahren zum Bestimmen einer Aufmerksamkeit eines Nutzers eines Kraftfahrzeugs, Computerprogramm, Datenverarbeitungsvorrichtung und Kraftfahrzeug

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant