CN111738126B - 基于贝叶斯网络和hmm的驾驶员疲劳检测方法和装置 - Google Patents

基于贝叶斯网络和hmm的驾驶员疲劳检测方法和装置 Download PDF

Info

Publication number
CN111738126B
CN111738126B CN202010550212.2A CN202010550212A CN111738126B CN 111738126 B CN111738126 B CN 111738126B CN 202010550212 A CN202010550212 A CN 202010550212A CN 111738126 B CN111738126 B CN 111738126B
Authority
CN
China
Prior art keywords
state
fatigue
driver
probability
hmm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010550212.2A
Other languages
English (en)
Other versions
CN111738126A (zh
Inventor
方斌
杨降勇
王岩
胡鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Police Academy
Original Assignee
Hunan Police Academy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Police Academy filed Critical Hunan Police Academy
Priority to CN202010550212.2A priority Critical patent/CN111738126B/zh
Publication of CN111738126A publication Critical patent/CN111738126A/zh
Application granted granted Critical
Publication of CN111738126B publication Critical patent/CN111738126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于贝叶斯网络和HMM的驾驶员疲劳检测方法和装置。所述方法包括:获取驾驶员所处驾驶环境的环境参数,将环境参数输入预先设置的第一贝叶斯模型,得到环境状态信息,获取驾驶员的面部状态信息,将面部状态信息输入预先设置的第二贝叶斯模型,得到视觉状态信息,根据环境状态信息和视觉状态信息,构建疲劳状态序列,将疲劳状态序列输入预先设置的HMM中,得到驾驶员对应的疲劳等级。采用本方法能够提高疲劳驾驶检测的精度。

Description

基于贝叶斯网络和HMM的驾驶员疲劳检测方法和装置
技术领域
本申请涉及机器视觉和模式识别技术领域,特别是涉及一种基于贝叶斯网络和HMM的驾驶员疲劳检测方法和装置。
背景技术
疲劳驾驶是大多数自动化驾驶的重要组成部分,是安全驾驶的关键环节。针对汽车驾驶室空间小、环境复杂、传感器检测存在偏差的特点,如何从快捷、低成本出发,有效的提高驾驶员的疲劳检测效率是研究的热点。随着高性能的GPU的出现以及人工智能芯片的发展使得深度学习方法在图像领域取得了巨大的发展,在各个领域内基于深度学习的方法的均取得了非常良好的性能表现,采用轻量化的神经网络算法使的深度学习方法应用到移动平台当中成为了可能。传统的驾驶员疲劳检测的研究重点在于如何提高视觉检测的精度,因此提高了相应的成本,较少的考虑驾驶员自身的因素和由于视觉检测照成的误差因素。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高疲劳驾驶检测精度的基于贝叶斯网络和HMM的驾驶员疲劳检测方法和装置。
一种基于贝叶斯网络和HMM的驾驶员疲劳检测方法,所述方法包括:
获取驾驶员所处驾驶环境的环境参数,将所述环境参数输入预先设置的第一贝叶斯模型,得到环境状态信息;
获取驾驶员的面部状态信息,将所述面部状态信息输入预先设置的第二贝叶斯模型,得到视觉状态信息;
根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列,将所述疲劳状态序列输入预先设置的HMM中,得到驾驶员对应的疲劳等级。
在其中一个实施例中,还包括:利用GPIO端口获取驾驶员所处驾驶环境中传感器反馈的驾驶时段信息、连续驾驶时间、驾驶室温度以及驾驶室亮度。
在其中一个实施例中,还包括:将所述环境参数设置为第一贝叶斯模型中的节点,以及设置所述节点的疲劳状态;根据每个节点的先验概率以及对应的环境参数,计算得到每个节点的后验概率;将每个节点的后验概率联合,得到环境状态信息。
在其中一个实施例中,还包括:利用GPIO端口获取驾驶员所处驾驶环境中图像传感器反馈的驾驶员面部的图像信息;设置独立线程对所述图像信息进行处理,得到面部状态信息。
在其中一个实施例中,还包括:将所述面部状态信息输入预先设置的第二贝叶斯模型进行归一化,得到视觉状态信息。
在其中一个实施例中,还包括:根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列;将所述疲劳状态序列作为观测序列输入HMM中,输出所述疲劳状态序列对应的疲劳等级;所述HMM的状态包括:良好、轻度疲劳以及重度疲劳;所述状态与所述疲劳等级对应。
在其中一个实施例中,还包括:根据所述疲劳等级,确定是否进行预警。
一种基于贝叶斯网络和HMM的驾驶员疲劳检测装置,所述装置包括:
环境信息获取模块,用于获取驾驶员所处驾驶环境的环境参数,将所述环境参数输入预先设置的第一贝叶斯模型,得到环境状态信息;
视觉信息获取模块,用于获取驾驶员的面部状态信息,将所述面部状态信息输入预先设置的第二贝叶斯模型,得到视觉状态信息;
检测模块,用于根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列,将所述疲劳状态序列输入预先设置的HMM中,得到驾驶员对应的疲劳等级。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取驾驶员所处驾驶环境的环境参数,将所述环境参数输入预先设置的第一贝叶斯模型,得到环境状态信息;
获取驾驶员的面部状态信息,将所述面部状态信息输入预先设置的第二贝叶斯模型,得到视觉状态信息;
根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列,将所述疲劳状态序列输入预先设置的HMM中,得到驾驶员对应的疲劳等级。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取驾驶员所处驾驶环境的环境参数,将所述环境参数输入预先设置的第一贝叶斯模型,得到环境状态信息;
获取驾驶员的面部状态信息,将所述面部状态信息输入预先设置的第二贝叶斯模型,得到视觉状态信息;
根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列,将所述疲劳状态序列输入预先设置的HMM中,得到驾驶员对应的疲劳等级。
上述基于贝叶斯网络和HMM的驾驶员疲劳检测方法、装置、计算机设备和存储介质,通过驾驶员所处驾驶环境中环境参数以及面部的面部状态信息,利用贝叶斯模型得到环境状态信息和视觉状态信息,然后通过HMM,输出驾驶员的疲劳等级,解决仅通过神经网络导致检测偏差的问题,提高检测精度。
附图说明
图1为一个实施例中基于贝叶斯网络和HMM的驾驶员疲劳检测方法的流程示意图;
图2为一个实施例中动态贝叶斯驾驶员环境树形结构图;
图3为一个实施例中驾驶员疲劳HMM示意图;
图4为一个实施例中基于贝叶斯网络和HMM的驾驶员疲劳检测装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种基于贝叶斯网络和HMM的驾驶员疲劳检测方法,包括以下步骤:
步骤102,获取驾驶员所处驾驶环境的环境参数,将环境参数输入预先设置的第一贝叶斯模型,得到环境状态信息。
驾驶员所处的环境一般指的是车内的驾驶环境,环境参数指的是温度、光照、时间等参数,贝叶斯模型指的是运用贝叶斯统计的预测模型,将环境参数输入贝叶斯模型可以预测驾驶员的疲劳程度,但是此时的预测可靠性较低。
步骤104,获取驾驶员的面部状态信息,将面部状态信息输入预先设置的第二贝叶斯模型,得到视觉状态信息。
面部状态信息可以是驾驶员的动作,例如:点头、抽烟、眨眼等。通过拍摄驾驶员面部的图像,可以提取得到面部状态信息,然后将面部状态信息输入第二贝叶斯模型可以输出统一的视觉状态信息。
步骤106,根据环境状态信息和所述视觉状态信息,构建疲劳状态序列,将疲劳状态序列输入预先设置的HMM中,得到驾驶员对应的疲劳等级。
HHM(Hidden Markov Model,隐马尔可夫模型)是统计模型,HHM可以描述状态的变迁,因此,可以更加准确的检测驾驶员的疲劳状态。
上述基于贝叶斯网络和HMM的驾驶员疲劳检测方法中,通过驾驶员所处驾驶环境中环境参数以及面部的面部状态信息,利用贝叶斯模型得到环境状态信息和视觉状态信息,然后通过HMM,输出驾驶员的疲劳等级,解决仅通过神经网络导致检测偏差的问题,提高检测精度。
在其中一个实施例中,利用GPIO获取驾驶员所处驾驶环境中传感器反馈的驾驶时段信息、连续驾驶时间、驾驶室温度以及驾驶室亮度。本实施例中,GPIO端口指的是开发板上的端口,开发板可以是基于ARM框架的开发板,或者是基于X86等其他框架的开发板。GPIO端口可以直接与驾驶室内的传感器联系,接受传感器采集到的信息。
在另一个实施例中,利用GPIO端口还可以采集到驾驶员所处驾驶环境中图像传感器反馈的驾驶员面部的图像信息。值得说明的是,设置独立线程对图像信息进行处理,得到面部状态信息。本实施例中,将环境参数与图像信息用不同的信息分别处理,然后采用轻量级深度卷积网络进行面部特征的提取,可以适应移动处理器的需求。
具体的,在进行特征提取是,可以是基于面部特定区域的灰度判断,可以采用调用开源的特征提取接口进行提取,在此不做限制。
在其中一个实施例中,将环境参数设置为第一贝叶斯模型中的节点,以及设置节点的疲劳状态;根据每个节点的先验概率以及对应的环境参数,计算得到每个节点的后验概率,将每个节点的后验概率联合,得到环境状态信息。本实施例中,由于先验概率存在不确定性,因此导致初步检测的结果可靠性不高。
具体的,第一贝叶斯网络工作的具体步骤如下:
(1)贝叶斯网络疲劳状态节点设定:每个节点的离散状态分别为
Figure BDA0002542255060000051
为疲劳,
Figure BDA0002542255060000052
为良好,t为驾驶员时间段;
(2)计算事件的条件概率:每个节点处于该状态的先验概率为
Figure BDA0002542255060000053
类条件概率密度
Figure BDA0002542255060000054
k为疲劳或良好状态,后验概率
Figure BDA0002542255060000055
的计算为:其中x为驾驶员驾驶时间,c为温度或者光照。
Figure BDA0002542255060000056
(3)计算驾驶员环境状态的联合概率:
Figure BDA0002542255060000057
其中p(Env)为驾驶员环境状态输出概率,Te为温度、Lu为亮度。
(4)动态贝叶斯网络:构建以温度、光照为底端的自下而上的动态贝叶斯网络结构,网络的中间层为连续驾驶时间,顶端为驾驶时段。最后输出驾驶员环境状态Sen=p(Env)。如图2所示,为动态贝叶斯驾驶员环境树形结构图。
根据后验概率公式和联合概率可以得到最底端的概率,由于传感器的检测准备性和条件概率密度
Figure BDA0002542255060000058
先验概率
Figure BDA0002542255060000059
不一定准确,因此需要用到HMM模型。
在其中一个实施例中,将面部状态信息输入预先设置的第二贝叶斯模型进行归一化,得到视觉状态信息。
在其中一个实施例中,如图3所示,提供一种驾驶员疲劳HMM示意图,根据环境状态信息和视觉状态信息,构建疲劳状态序列;将疲劳状态序列作为观测序列输入HMM中,输出疲劳状态序列对应的疲劳等级;HMM的状态包括:良好、轻度疲劳以及重度疲劳;状态与疲劳等级对应。
具体的,给出一种疲劳参数指标的参考值,如表1所示:
表1
Figure BDA0002542255060000061
HMM是一种具有3种状态(S1,S2,S3),分别为良好、轻度疲劳或重度疲劳。HMM可以用λ={π,A,B}表示,定义的3个参数概率含义如下图所示:
π:初始概率矢量π=[π123],给定的观察序列o=o1,o2,...,or在t=1时刻下各个状态的概率分布,由于驾驶员一般一开始的精神状态良好,因此选择π=[1.0,0.0,0.0];
A:状态转移概率矩阵A=[aij]3*3,其中aij=P(qi+1=Sj|qi=Si),当前状态Si转移到下一时刻处于的状态Sj,同样满足
Figure BDA0002542255060000062
B:观测序列的概率矩阵(混淆矩阵)B=[bij]3*M,其中M为每个状态对应的可能观测值数目,观测值为驾驶员环境状态、驾驶员视觉检测状态2种,因此M可能有9种可能。B为观测序列o中的任意观察值,它是随机变量或随机矢量在各状态的观察概率空间分布,其中其初值得选取很大程度上会对最终模型准确度产生影响。
HMM参数估计主要是估计λ={π,A,B}中A、B的值,定义驾驶员的观察值序列长度为N,状态基准序列为Q。利用数理统计方法统计出该时段内基准状态为j的个数Qj,观测值状态为i的个数Mi,则矩阵B中的各元素取值为:
Figure BDA0002542255060000071
A同样利用数理统计方法获得。
在另一个实施例中,还可以根据疲劳等级,确定是否进行预警。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种基于贝叶斯网络和HMM的驾驶员疲劳检测装置,包括:环境信息获取模块402、视觉信息获取模块404和检测模块406,其中:
环境信息获取模块402,用于获取驾驶员所处驾驶环境的环境参数,将所述环境参数输入预先设置的第一贝叶斯模型,得到环境状态信息;
视觉信息获取模块404,用于获取驾驶员的面部状态信息,将所述面部状态信息输入预先设置的第二贝叶斯模型,得到视觉状态信息;
检测模块406,用于根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列,将所述疲劳状态序列输入预先设置的HMM中,得到驾驶员对应的疲劳等级。
在其中一个实施例中,环境信息获取模块402还用于利用GPIO端口获取驾驶员所处驾驶环境中传感器反馈的驾驶时段信息、连续驾驶时间、驾驶室温度以及驾驶室亮度。
在其中一个实施例中,环境信息获取模块402还用于将所述环境参数设置为第一贝叶斯模型中的节点,以及设置所述节点的疲劳状态;根据每个节点的先验概率以及对应的环境参数,计算得到每个节点的后验概率;将每个节点的后验概率联合,得到环境状态信息。
在其中一个实施例中,视觉信息获取模块404还用于利用GPIO端口获取驾驶员所处驾驶环境中图像传感器反馈的驾驶员面部的图像信息;设置独立线程对所述图像信息进行处理,得到面部状态信息。
在其中一个实施例中,视觉信息获取模块404还用于将所述面部状态信息输入预先设置的第二贝叶斯模型进行归一化,得到视觉状态信息。
在其中一个实施例中,检测模块406还用于根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列;将所述疲劳状态序列作为观测序列输入HMM中,输出所述疲劳状态序列对应的疲劳等级;所述HMM的状态包括:良好、轻度疲劳以及重度疲劳;所述状态与所述疲劳等级对应。
在其中一个实施例中,检测模块406还用于根据所述疲劳等级,确定是否进行预警。
关于基于贝叶斯网络和HMM的驾驶员疲劳检测装置的具体限定可以参见上文中对于基于贝叶斯网络和HMM的驾驶员疲劳检测方法的限定,在此不再赘述。上述基于贝叶斯网络和HMM的驾驶员疲劳检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于贝叶斯网络和HMM的驾驶员疲劳检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于贝叶斯网络和HMM的驾驶员疲劳检测方法,所述方法包括:
利用GPIO端口获取驾驶员所处驾驶环境中传感器反馈的环境参数:驾驶时段信息、连续驾驶时间、驾驶室温度以及驾驶室亮度,将所述环境参数设置为第一贝叶斯模型中的节点,以及设置所述节点的疲劳状态,根据每个节点的先验概率以及对应的环境参数,计算得到每个节点的后验概率,将每个节点的后验概率联合,得到环境状态信息;
利用GPIO端口获取驾驶员所处驾驶环境中图像传感器反馈的驾驶员面部的图像信息,设置独立线程对所述图像信息进行处理,得到面部状态信息,将所述面部状态信息输入预先设置的第二贝叶斯模型进行归一化,得到视觉状态信息;
根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列;将所述疲劳状态序列作为观测序列输入HMM中,输出所述疲劳状态序列对应的疲劳等级;所述HMM的状态包括:良好、轻度疲劳以及重度疲劳;所述状态与所述疲劳等级对应;
根据所述疲劳等级,确定是否进行预警;
其中,第一贝叶斯网络工作的具体步骤如下:
(1)贝叶斯网络疲劳状态节点设定:每个节点的离散状态分别为
Figure FDA0004050887540000011
Figure FDA0004050887540000012
为疲劳,
Figure FDA0004050887540000013
为良好,t为驾驶时间段;
(2)计算事件的条件概率:每个节点处于该状态的先验概率为
Figure FDA0004050887540000014
类条件概率密度
Figure FDA0004050887540000015
k为疲劳或良好状态,后验概率
Figure FDA0004050887540000016
的计算为:其中x为驾驶员驾驶时间,c为温度或者光照;
Figure FDA0004050887540000017
(3)计算驾驶员环境状态的联合概率:
Figure FDA0004050887540000018
其中p(Env)为驾驶员环境状态输出概率,Te为温度、Lu为亮度;
(4)动态贝叶斯网络:构建以温度、光照为底端的自下而上的动态贝叶斯网络结构,网络的中间层为连续驾驶时间,顶端为驾驶时段,最后输出驾驶员环境状态Sen=p(Env);
其中,HMM可以用λ={π,A,B}表示,3个参数概率含义如下图所示:
π:初始概率矢量π=[π123],给定的观察序列O=O1,O2,...,Or在t=1时刻下各个状态的概率分布,由于驾驶员一般一开始的精神状态良好,因此选择π=[1.0,0.0,0.0];
A:状态转移概率矩阵A=[aij]3*3,其中aij=P(qi+1=Sj|qi=Si),当前状态Si转移到下一时刻处于的状态Sj,同样满足
Figure FDA0004050887540000021
B:观测序列的概率矩阵,即混淆矩阵B=[bij]3*M,其中M为每个状态对应的可能观测值数目,观测值为驾驶员环境状态、驾驶员视觉检测状态2种,因此M有9种可能,B为观测序列O中的任意观察值,它是随机变量或随机矢量在各状态的观察概率空间分布,其中其初值的选取会对最终模型准确度产生影响;
HMM主要是估计λ={π,A,B}中A、B的值,定义驾驶员的观察值序列长度为N,状态基准序列为Q,利用数理统计方法统计出该时段内基准状态为j的个数Qj,观测值状态为i的个数Mi,则矩阵B中的各元素取值为:
Figure FDA0004050887540000022
A同样利用数理统计方法获得。
2.一种基于贝叶斯网络和HMM的驾驶员疲劳检测装置,其特征在于,所述装置包括:
环境信息获取模块,用于利用GPIO端口获取驾驶员所处驾驶环境中传感器反馈的环境参数:驾驶时段信息、连续驾驶时间、驾驶室温度以及驾驶室亮度,将所述环境参数设置为第一贝叶斯模型中的节点,以及设置所述节点的疲劳状态,根据每个节点的先验概率以及对应的环境参数,计算得到每个节点的后验概率,将每个节点的后验概率联合,得到环境状态信息;
视觉信息获取模块,用于利用GPIO端口获取驾驶员所处驾驶环境中图像传感器反馈的驾驶员面部的图像信息,设置独立线程对所述图像信息进行处理,得到面部状态信息,将所述面部状态信息输入预先设置的第二贝叶斯模型进行归一化,得到视觉状态信息;
检测模块,用于根据所述环境状态信息和所述视觉状态信息,构建疲劳状态序列,将所述疲劳状态序列输入预先设置的HMM中,输出所述疲劳状态序列对应的疲劳等级,所述HMM的状态包括:良好、轻度疲劳以及重度疲劳,所述状态与所述疲劳等级对应;
检测模块还用于根据所述疲劳等级,确定是否进行预警;
其中,第一贝叶斯网络工作的具体步骤如下:
(1)贝叶斯网络疲劳状态节点设定:每个节点的离散状态分别为
Figure FDA0004050887540000031
Figure FDA0004050887540000032
为疲劳,
Figure FDA0004050887540000033
为良好,t为驾驶时间段;
(2)计算事件的条件概率:每个节点处于该状态的先验概率为
Figure FDA0004050887540000034
类条件概率密度
Figure FDA0004050887540000035
k为疲劳或良好状态,后验概率
Figure FDA0004050887540000036
的计算为:其中x为驾驶员驾驶时间,c为温度或者光照;
Figure FDA0004050887540000037
(3)计算驾驶员环境状态的联合概率:
Figure FDA0004050887540000038
其中p(Env)为驾驶员环境状态输出概率,Te为温度、Lu为亮度;
(4)动态贝叶斯网络:构建以温度、光照为底端的自下而上的动态贝叶斯网络结构,网络的中间层为连续驾驶时间,顶端为驾驶时段,最后输出驾驶员环境状态Sen=p(Env);
其中,HMM可以用λ={π,A,B}表示,3个参数概率含义如下图所示:
π:初始概率矢量π=[π123],给定的观察序列O=O1,O2,...,Or在t=1时刻下各个状态的概率分布,由于驾驶员一般一开始的精神状态良好,因此选择π=[1.0,0.0,0.0];
A:状态转移概率矩阵A=[aij]3*3,其中aij=P(qi+1=Sj|qi=Si),当前状态Si转移到下一时刻处于的状态Sj,同样满足
Figure FDA0004050887540000039
B:观测序列的概率矩阵,即混淆矩阵B=[bij]3*M,其中M为每个状态对应的可能观测值数目,观测值为驾驶员环境状态、驾驶员视觉检测状态2种,因此M有9种可能,B为观测序列O中的任意观察值,它是随机变量或随机矢量在各状态的观察概率空间分布,其中其初值的选取会对最终模型准确度产生影响;
HMM主要是估计λ={π,A,B}中A、B的值,定义驾驶员的观察值序列长度为N,状态基准序列为Q,利用数理统计方法统计出该时段内基准状态为j的个数Qj,观测值状态为i的个数Mi,则矩阵B中的各元素取值为:
Figure FDA00040508875400000310
A同样利用数理统计方法获得。
3.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1所述方法的步骤。
4.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。
CN202010550212.2A 2020-06-16 2020-06-16 基于贝叶斯网络和hmm的驾驶员疲劳检测方法和装置 Active CN111738126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010550212.2A CN111738126B (zh) 2020-06-16 2020-06-16 基于贝叶斯网络和hmm的驾驶员疲劳检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010550212.2A CN111738126B (zh) 2020-06-16 2020-06-16 基于贝叶斯网络和hmm的驾驶员疲劳检测方法和装置

Publications (2)

Publication Number Publication Date
CN111738126A CN111738126A (zh) 2020-10-02
CN111738126B true CN111738126B (zh) 2023-04-07

Family

ID=72649909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010550212.2A Active CN111738126B (zh) 2020-06-16 2020-06-16 基于贝叶斯网络和hmm的驾驶员疲劳检测方法和装置

Country Status (1)

Country Link
CN (1) CN111738126B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408459B (zh) * 2021-06-29 2022-08-30 吉林大学 基于贝叶斯定理的车辆多模态交互方法
CN113569699B (zh) * 2021-07-22 2024-03-08 上汽通用五菱汽车股份有限公司 注意力分析方法、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104183091A (zh) * 2014-08-14 2014-12-03 苏州清研微视电子科技有限公司 一种自适应调整疲劳驾驶预警系统灵敏度的系统
CN105719312A (zh) * 2016-01-19 2016-06-29 深圳大学 基于序贯贝叶斯滤波的多目标跟踪方法及跟踪系统
CN109447182A (zh) * 2018-11-19 2019-03-08 深圳市元征科技股份有限公司 基于hmm算法的驾驶行为分类方法和装置
CN110638474A (zh) * 2019-09-25 2020-01-03 中控智慧科技股份有限公司 一种驾驶状态检测的方法、系统、设备及可读存储介质
CN110852281A (zh) * 2019-11-13 2020-02-28 吉林大学 基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9784592B2 (en) * 2015-07-17 2017-10-10 Honda Motor Co., Ltd. Turn predictions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104183091A (zh) * 2014-08-14 2014-12-03 苏州清研微视电子科技有限公司 一种自适应调整疲劳驾驶预警系统灵敏度的系统
CN105719312A (zh) * 2016-01-19 2016-06-29 深圳大学 基于序贯贝叶斯滤波的多目标跟踪方法及跟踪系统
CN109447182A (zh) * 2018-11-19 2019-03-08 深圳市元征科技股份有限公司 基于hmm算法的驾驶行为分类方法和装置
CN110638474A (zh) * 2019-09-25 2020-01-03 中控智慧科技股份有限公司 一种驾驶状态检测的方法、系统、设备及可读存储介质
CN110852281A (zh) * 2019-11-13 2020-02-28 吉林大学 基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Abdullah M. Rashwan et al.."Car Driver Fatigue Monitoring Using Hidden Markov Models and Bayesian Networks".《2013 International Conference on Connected Vehicles and Expo (ICCVE)》.2014,第247-251页. *
Florian Kuhnt et al.."Towards a unified traffic situation estimation model — Street-dependent behaviour and motion models".《2013 IEEE International Conference on Acoustics, Speech and Signal Processing》.2012,第1223-1229页. *
Mingheng Zhang et al.."An Application of Particle Swarm Algorithms to Optimize Hidden Markov Models for Driver Fatigue Identification".《2018 IEEE Intelligent Vehicles Symposium (IV)》.2017,第25-30页. *
吕立程等."动态贝叶斯网络的立体视觉疲劳概率评估".《电光与控制》.2018,第26卷(第9期),第45-49页. *
方斌等."面向ARM 平台的自标定驾驶员疲劳检测方法".《汽车安全与节能学报》.2020,第11卷(第1期),第71-78页. *
薛兴乐等."基于贝叶斯网络的疲劳驾驶检测预警系统设计".《科技创新导报》.2020,第17卷(第11期),第65-67页. *
赵秀栋."基于改进HMM的驾驶疲劳状态辨识方法研究".《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》.2018,(第04期),第C035-145页. *

Also Published As

Publication number Publication date
CN111738126A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN109840588B (zh) 神经网络模型训练方法、装置、计算机设备及存储介质
CN110136103B (zh) 医学影像解释方法、装置、计算机设备及存储介质
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN111708355A (zh) 基于强化学习的多无人机动作决策方法和装置
CN111738126B (zh) 基于贝叶斯网络和hmm的驾驶员疲劳检测方法和装置
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN113609786B (zh) 一种移动机器人导航方法、装置、计算机设备和存储介质
US10375360B2 (en) State estimation apparatus, state estimation method, integrated circuit, and non-transitory computer-readable storage medium
CN111783997B (zh) 一种数据处理方法、装置及设备
CN110796634A (zh) 大坝状态检测方法、装置、计算机设备和可读存储介质
CN112132265A (zh) 模型训练方法、杯盘比确定方法、装置、设备及存储介质
CN112115860A (zh) 人脸关键点定位方法、装置、计算机设备和存储介质
CN109102549B (zh) 图像光源颜色的检测方法、装置、计算机设备及存储介质
CN111178126A (zh) 目标检测方法、装置、计算机设备和存储介质
US20210042583A1 (en) Apparatus and system for unsupervised disentangled representation learning with a residual variational autoencoder
US11928591B2 (en) Information processing apparatus and information processing method
CN116959216A (zh) 一种实验操作监测预警方法、装置和系统
CN110824496B (zh) 运动估计方法、装置、计算机设备和存储介质
CN111898035A (zh) 基于物联网的数据处理策略配置方法、装置和计算机设备
CN111370086A (zh) 电子病例检测方法、装置、计算机设备和存储介质
CN116486304A (zh) 一种基于超声视频的关键帧提取方法及相关设备
JP6398991B2 (ja) モデル推定装置、方法およびプログラム
CN114401205B (zh) 无标注多源网络流量数据漂移检测方法和装置
CN115561724A (zh) 认知雷达目标识别效果在线评估方法、装置和计算机设备
CN116051880A (zh) 一种标签噪声下基于不确定性评估的结果预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant