CN112131981B - 一种基于骨架数据行为识别的司机疲劳检测方法 - Google Patents

一种基于骨架数据行为识别的司机疲劳检测方法 Download PDF

Info

Publication number
CN112131981B
CN112131981B CN202010944605.1A CN202010944605A CN112131981B CN 112131981 B CN112131981 B CN 112131981B CN 202010944605 A CN202010944605 A CN 202010944605A CN 112131981 B CN112131981 B CN 112131981B
Authority
CN
China
Prior art keywords
layer
data
head
driver
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010944605.1A
Other languages
English (en)
Other versions
CN112131981A (zh
Inventor
周斌
张艺
周洪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010944605.1A priority Critical patent/CN112131981B/zh
Publication of CN112131981A publication Critical patent/CN112131981A/zh
Application granted granted Critical
Publication of CN112131981B publication Critical patent/CN112131981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于骨架数据行为识别的司机疲劳检测方法，包括：(1)采集驾驶室中不同时间、不同对象的多段监控视频；(2)提取司机头部每一帧的骨架关键点数据；(3)对采集到的骨架关键点数据进行筛选，制作标签，构建数据集；(4)基于步骤(3)的数据集训练设计好的基于注意力机制的卷积神经网络模型；通过训练好的基于注意力机制的卷积神经网络模型进行司机疲劳检测，根据疲劳检测算法判断司机是否处于疲劳状态。本发明利用监控视频进行监测，减少了设备仪器的成本，避免对司机造成的困扰；将视频数据转化为骨架序列数据再进行检测，模型的鲁棒性较好，提高了疲劳检测的准确率和检测速度。

Description

一种基于骨架数据行为识别的司机疲劳检测方法
技术领域
本发明涉及一种基于骨架数据行为识别的司机疲劳检测方法，属于计算机视觉技术领域。
背景技术
司机在车辆行驶过程中需要负责控速、停车，观察道路情况并及时做出反应等工作，然而在长时间的持续工作中，司机容易出现疲劳、困倦甚至瞌睡等情况，这对道路交通安全会造成潜在的危害。因此，如何对司机的疲劳状态进行实时检测与预警具有十分重要的研究意义。
目前主要的检测方法大致有两种，一种方法是对司机进行人脸识别，根据司机的眼睛闭合频率、凝视方向、打哈欠频率等特征进行检测，这种方法准确率较高，但是采集的数据必须有司机清晰的面部，这对监测设备的清晰度、质量的要求很高，所需成本比较昂贵；同时，车辆的原有监控数据一般无法进行人脸关键点识别，因此无法利用现有的资源进行检测。另外一种方法是通过医用测量仪器获取司机的脑电图、心电图、脉率图等数据进行疲劳程度分析，然而这种方法所需的检测仪器通常比较复杂，必须接触司机的身体部位，很大程度上会给司机的行动带来不便。
近年来，基于深度学习的行为识别技术发展迅速，将深度学习的行为识别技术应用到对司机的疲劳状态进行实时检测与预警将是一个新的研究课题。
发明内容
针对现有技术的不足，本发明旨在解决现有司机疲劳检测方法存在的所需设备复杂、成本高、操作繁琐等问题，提供一种基于骨架数据行为识别的司机疲劳检测方法，将视频数据转化为骨架序列数据，根据行为识别结果判断司机的疲劳状态。
本发明认为司机疲劳状态可以通过其行为表现出来。为了解决目前疲劳检测方法存在的问题，本发明通过识别司机的行为来判断其疲劳状态。然而基于彩色视频的行为识别容易受到光照变化、背景复杂等诸多因素的影响，模型规模普遍较大。与彩色视频相比，骨架序列可以有效地代表人类的动作，同时对背景噪声具有一定的鲁棒性，数据集尺寸较小，可以设计出轻量级的模型。
术语解释：
1、骨架数据，是指从人体中提取出一些关键点构成人体骨架，骨架序列记录了每个关键点的三维或者二维坐标的运动轨迹。
2、OpenPose，是指基于卷积神经网络和监督学习并以Caffe为框架开发的开源库，可以实现人体动作、面部表情、手指运动等姿态估计。
3、注意力机制，深度学习中的注意力机制，核心目标是从众多信息中选择出对当前任务目标更关键的信息，广泛应用于自然语言处理、语音识别、图像识别等各种深度学习任务中。
4、LSTM(Long Short Term Memory)，是指长短期记忆人工神经网络，是为了解决一般的循环神经网络(RNN)存在的长期依赖问题而专门设计出来的，主要特点是设计了记忆门、遗忘门和输出门的结构，可以学习长期依赖信息。
5、卷积神经网络(CNN)，是一类包含卷积计算、具有深层结构的前馈神经网络，具有权值共享的网络结构，降低了模型复杂度，减少了权值的数量。CNN可以直接将图像作为输入，具有平移不变性，在图像识别领域取得了不错的效果。
本发明的技术方案为：
一种基于骨架数据行为识别的司机疲劳检测方法，包括步骤如下：
A、训练基于注意力机制的卷积神经网络模型
(1)预先通过摄像头采集驾驶室中不同时间、不同对象的多段监控视频；以增加数据集的多样性，提高模型的泛化能力；
(2)提取步骤(1)获取的视频中司机头部每一帧的骨架关键点数据；
(3)对采集到的骨架关键点数据进行筛选，制作标签，构建数据集；
(4)基于步骤(3)的数据集训练设计好的基于注意力机制的卷积神经网络模型，基于注意力机制的卷积神经网络模型包括基于LSTM的时空注意力模块和基于CNN的时空特征提取网络；
B、通过步骤A训练好的基于注意力机制的卷积神经网络模型进行司机疲劳检测
(5)实时采集驾驶室中的监控视频，提取司机头部每一帧的骨架关键点数据，输入到训练好的基于注意力机制的卷积神经网络模型中，输出司机低头、抬头、仰头、点头、仰头状态恢复至平视等行为的检测结果，根据疲劳检测算法判断司机是否处于疲劳状态，若司机存在疲劳状态，则发出预警信号提醒司机及工作人员。
根据本发明优选的，步骤(2)中，使用OpenPose提取视频中司机头部每一帧的骨架关键点数据，骨架关键点数据包括头顶、眼睛、下巴、耳朵、脖子、左肩、右肩这7个关键点的二维坐标。
根据本发明优选的，步骤(3)中，对采集到的骨架关键点数据进行筛选，制作标签，构建数据集，包括步骤如下：
a、分类筛选出6种动作对应的骨架关键点数据，6种动作包括低头、抬头、仰头、点头、仰头状态恢复至平视、其它动作，点头是指低头后抬头，抬头是指由低头变为平视的动作，仰头是指由平视向后仰的动作；
b、分别对6种动作对应的骨架关键点数据制作标签；
c、将步骤b处理后的骨架数据分为训练集、验证集、测试集。
进一步优选的，步骤c中，将步骤b处理后的骨架数据按照8：1：1的比例分为训练集、验证集、测试集。
根据本发明优选的，基于注意力机制的卷积神经网络模型包括依次连接的基于LSTM的时空注意力模块和基于CNN的时空特征提取网络；
所述基于LSTM的时空注意力模块包括依次连接的时间注意力模块及空间注意力模块；所述时间注意力模块用于对不同的帧数据赋予不同大小的关注；因为对于完成一个动作的所有帧来说，并不是每一帧的数据对识别这个动作都有贡献，时间注意力模块可以通过训练学习出对识别这个动作更为关键的帧数据，对其赋予更高的注意力；所述空间注意力模块用于对每一帧的7个关键点赋予不同大小的关注；通过训练学习出对识别动作更为重要的关键点，对其赋予更高的注意力；
所述基于CNN的时空特征提取网络包括两组卷积层组、级联层、第一卷积层、第二卷积层、池化层、第五全连接层、第六全连接层；两组卷积层组均连接所述级联层，所述级联层、第一卷积层、第二卷积层、池化层、第五全连接层、第六全连接层依次连接；每组卷积层组包括三层依次连接的卷积层。
进一步优选的，所述时间注意力模块包括依次连接的LSTM、第一全连接层、第二全连接层、第一Softmax层；所述空间注意力模块包括依次连接的第三全连接层、第四全连接层、第二Softmax层。
根据本发明优选的，步骤(4)中，基于步骤(3)的数据集训练设计好的基于注意力机制的卷积神经网络模型，包括步骤如下：
d、第t帧的骨架关键点数据xt输入到LSTM中，输出LSTM的隐藏层变量ht，xt和前一时刻的隐藏层变量ht-1输入到第一全连接层，经过tanh激活函数和第二全连接层得到
Figure BDA0002674817630000031
如式(Ⅰ)所示：
Figure BDA0002674817630000032
式(Ⅰ)中，W1 (time)是ht-1对应的第一全连接层的权重矩阵，
Figure BDA0002674817630000033
是xt对应的第一全连接层的权重矩阵，w(time)是第二全连接层的权重矩阵，b(time)是第一全连接层的偏置项；
e、
Figure BDA0002674817630000034
经过第一Softmax层输出权重参数
Figure BDA0002674817630000035
如式(Ⅱ)所示：
Figure BDA0002674817630000041
式(Ⅱ)中，T为动作的总帧数；
f、所述时间注意力模块输出第t帧数据ft，如式(Ⅲ)所示：
Figure BDA0002674817630000042
g、将时间注意力模块输出第t帧数据ft和LSTM前一时刻的隐藏层变量ht-1输入到第三全连接层，经过tanh激活函数和第四全连接层得到
Figure BDA0002674817630000043
如式(Ⅳ)所示：
Figure BDA0002674817630000044
式(Ⅳ)中，W1 (space)是ht-1对应的第三全连接层的权重矩阵，
Figure BDA0002674817630000045
是ft对应的第三全连接层的权重矩阵，w(space)是第四全连接层的权重矩阵，b(space)是第三全连接层的偏置项；
h、
Figure BDA0002674817630000046
经过第二Softmax层输出第t帧的第i个关键点的权重参数
Figure BDA0002674817630000047
如式(Ⅴ)所示：
Figure BDA0002674817630000048
式(Ⅴ)中，N＝n*d，n为头部的骨架关键点个数，d为关键点的坐标的维度，
Figure BDA0002674817630000049
是
Figure BDA00026748176300000410
的第i个元素；
i、所述空间注意力模块输出的第t帧第i个骨架关键点数据为st,i，如式(Ⅵ)所示：
Figure BDA00026748176300000411
式(Ⅵ)中，ft,i是ft的第i个元素；
j、骨架数据经过所述基于LSTM的时空注意力模块输出X，如式(Ⅶ)所示：
Figure BDA00026748176300000412
k、计算空间特征，空间特征是指每一帧相邻骨架关键点之间的坐标差Space，如式(Ⅷ)所示；
Figure BDA0002674817630000051
计算时间特征，时间特征是指两个连续帧之间每个关键点的坐标差来表示时间特征Time，如式(Ⅸ)所示；
Figure BDA0002674817630000052
通过插值调整空间特征及时间特征的数据维度为T*n*d；
l、分别将空间特征和时间特征输入到两组卷积层组中进行特征提取；
m、通过两组卷积层提取的两部分特征映射通过所述级联层级联；
n、输入到第一卷积层、第二卷积层中进行特征融合，并最终经过全连接层进行分类，第六全连接层的输出通过softmax函数输出预测6种动作的概率，概率最大的动作就是最终分类的结果。
根据本发明优选的，步骤(5)中，根据疲劳检测算法判断司机是否处于疲劳状态，若司机存在疲劳状态，则发出预警信号提醒司机及工作人员，是指：
当出现以下情况之一时，认为司机处于疲劳状态：
①检测到低头动作，设定时间3s-6s内没有检测到抬头动作；
②检测到仰头动作，设定时间3s-6s内没有检测到仰头状态恢复至平视的动作；
③检测到点头动作，设定时间4s-6s内检测到点头动作的次数超过2-3次。
最优选的，设定时间为5s，步骤③次数为2次。
本发明的有益效果为：
1、本发明能够对司机的疲劳状态进行实时检测，当司机出现疲劳情况时能够及时发出预警信号，防止司机因疲劳驾驶造成交通事故。
2、本发明只需要利用驾驶室中的监控设备资源，操作简单，大大减少了检测设备仪器的成本；同时，监控视频不会对司机的工作和行动造成影响，避免了对司机造成的困扰。
3、本发明将视频数据转化为骨架序列数据再进行检测，骨架数据不受天气、光照条件、背景等因素的影响，模型的鲁棒性较好；同时，骨架数据尺寸较小，可设计轻量级的模型。
4、本发明所述的基于注意力机制的卷积神经网络，能更好地对时空特征进行提取和融合，提高了疲劳检测的准确率和检测速度。
附图说明
图1是本发明基于骨架数据行为识别的司机疲劳检测方法流程示意图；
图2是本发明OpenPose提取的司机头部关键点的示意图；
图3是本发明基于注意力机制的卷积神经网络模型训练流程示意图；
图4是本发明基于注意力机制的卷积神经网络的结构示意图；
图5是本发明基于LSTM的时空注意力模块的结构示意图；
图6是本发明基于CNN的时空特征提取网络的结构示意图；
图7是本发明根据疲劳检测算法判断司机是否处于疲劳状态的流程示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于骨架数据行为识别的司机疲劳检测方法，如图1所示，包括步骤如下：
A、训练基于注意力机制的卷积神经网络模型，如图3所示：
(1)预先通过摄像头采集驾驶室中不同时间、不同对象的多段监控视频；不同的时间是指一周内不同的天气情况(晴天、雨天、阴天等)下的不同时刻(白天、夜间)，以增加数据集的多样性，提高模型的泛化能力；
(2)提取步骤(1)获取的视频中司机头部每一帧的骨架关键点数据；筛选出每种动作的视频帧对应的骨架关键点数据制作标签，共得到2100个骨架序列；
(3)对采集到的骨架关键点数据进行筛选，制作标签，构建数据集；
(4)基于步骤(3)的数据集训练设计好的基于注意力机制的卷积神经网络模型，基于注意力机制的卷积神经网络模型包括基于LSTM的时空注意力模块和基于CNN的时空特征提取网络；
B、通过步骤A训练好的基于注意力机制的卷积神经网络模型进行司机疲劳检测
(5)实时采集驾驶室中的监控视频，提取司机头部每一帧的骨架关键点数据，输入到训练好的基于注意力机制的卷积神经网络模型中，输出司机低头、抬头、仰头、点头、仰头状态恢复至平视等行为的检测结果，根据疲劳检测算法判断司机是否处于疲劳状态，若司机存在疲劳状态，则发出预警信号提醒司机及工作人员。
实施例2
根据实施例1所述的一种基于骨架数据行为识别的司机疲劳检测方法，其区别在于：
步骤(2)中，使用OpenPose提取视频中司机头部每一帧的骨架关键点数据，骨架关键点数据包括头顶、眼睛、下巴、耳朵、脖子、左肩、右肩这7个关键点的二维坐标。
OpenPose技术中选取了一些关节点来代表人体的骨架，也就是说虽然眼睛、下巴、耳朵、脖子、左肩、右肩不是一个点，但是OpenPose是选取了身体部位中的一个点来代表人体的某个部位。因为司机驾驶室中的监控摄像头大多为右侧后方的视角，只能拍摄到司机头部右侧部位，所以选取头顶、右眼、下巴、右耳、脖子、左肩、右肩这7个关键点(如果摄像头在左侧，则为头顶、左耳、下巴、左耳、脖子、左肩、右肩)。关键点的二维坐标是以图像左上角为原点，水平向右为x轴的正方向，垂直向下为y轴的正方向，坐标的单位为像素。如图2所示，像素值为495*415的司机头部图像，OpenPose提取到的坐标数据为(178.35,41.03,269.14,111.36,265.15,184.74,218.96,134.09,211.02,188.15,289.61,255.78,113.22,223.05)，分别是代表头顶、右眼、下巴、右耳、脖子、右肩、左肩的关键点的二维坐标。
步骤(3)中，对采集到的骨架关键点数据进行筛选，制作标签，构建数据集，包括步骤如下：
a、分类筛选出6种动作对应的骨架关键点数据，6种动作包括低头、抬头、仰头、点头、仰头状态恢复至平视、其它动作，点头是指低头后抬头，抬头是指由低头变为平视的动作，仰头是指由平视向后仰的动作；
通过人工分类筛选，从视频中挑选出司机每个动作从开始到结束所对应的帧数，根据帧数将对应的骨架关键点数据存在TXT文件中，一个动作对应一个TXT文件，建立6个文件夹，同种动作的TXT文件存放在相同的文件夹中。
b、分别对6种动作对应的骨架关键点数据制作标签；用标签0表示低头，用标签1表示抬头，用标签2表示仰头，用标签3表示点头，用标签4表示仰头状态恢复至平视，用标签5表示其它动作，将每个标签存入对应动作的TXT文件中；
c、将步骤b处理后的骨架数据按照8：1：1的比例分为训练集(1680)、验证集(210)、测试集(210)。
如图4所示，基于注意力机制的卷积神经网络模型包括依次连接的基于LSTM的时空注意力模块和基于CNN的时空特征提取网络；
如图5所示，基于LSTM的时空注意力模块包括依次连接的时间注意力模块及空间注意力模块；时间注意力模块用于对不同的帧数据赋予不同大小的关注；因为对于完成一个动作的所有帧来说，并不是每一帧的数据对识别这个动作都有贡献，时间注意力模块可以通过训练学习出对识别这个动作更为关键的帧数据，对其赋予更高的注意力；空间注意力模块用于对每一帧的7个关键点赋予不同大小的关注；通过训练学习出对识别动作更为重要的关键点，对其赋予更高的注意力；每个动作的帧数在5到12帧范围内，通过插值将其调整为固定的8帧；时间注意力模块包括依次连接的LSTM、第一全连接层、第二全连接层、第一Softmax层；空间注意力模块包括依次连接的第三全连接层、第四全连接层、第二Softmax层。
如图6所示，基于CNN的时空特征提取网络包括两组卷积层组、级联层、第一卷积层、第二卷积层、池化层、第五全连接层、第六全连接层；两组卷积层组均连接所述级联层，级联层、第一卷积层、第二卷积层、池化层、第五全连接层、第六全连接层依次连接；每组卷积层组包括三层依次连接的卷积层。
步骤(4)中，基于步骤(3)的数据集训练设计好的基于注意力机制的卷积神经网络模型，包括步骤如下：
d、第t帧的骨架关键点数据xt输入到LSTM中，输出LSTM的隐藏层变量ht，xt和前一时刻的隐藏层变量ht-1输入到第一全连接层，经过tanh激活函数和第二全连接层得到
Figure BDA0002674817630000081
如式(Ⅰ)所示：
Figure BDA0002674817630000082
式(Ⅰ)中，W1 (time)是ht-1对应的第一全连接层的权重矩阵，
Figure BDA0002674817630000083
是xt对应的第一全连接层的权重矩阵，w(time)是第二全连接层的权重矩阵，b(time)是第一全连接层的偏置项；
e、
Figure BDA0002674817630000084
经过第一Softmax层输出权重参数
Figure BDA0002674817630000085
如式(Ⅱ)所示：
Figure BDA0002674817630000086
式(Ⅱ)中，T为动作的总帧数；
f、时间注意力模块输出第t帧数据ft，如式(Ⅲ)所示：
Figure BDA0002674817630000087
g、将时间注意力模块输出第t帧数据ft和LSTM前一时刻的隐藏层变量ht-1输入到第三全连接层，经过tanh激活函数和第四全连接层得到
Figure BDA0002674817630000088
如式(Ⅳ)所示：
Figure BDA0002674817630000089
式(Ⅳ)中，W1 (space)是ht-1对应的第三全连接层的权重矩阵，
Figure BDA00026748176300000810
是ft对应的第三全连接层的权重矩阵，w(space)是第四全连接层的权重矩阵，b(space)是第三全连接层的偏置项；
h、
Figure BDA0002674817630000091
经过第二Softmax层输出第t帧的第i个关键点的权重参数
Figure BDA0002674817630000092
如式(Ⅴ)所示：
Figure BDA0002674817630000093
式(Ⅴ)中，N＝n*d，n为头部的骨架关键点个数，d为关键点的坐标的维度，
Figure BDA0002674817630000094
是
Figure BDA0002674817630000095
的第i个元素；
i、空间注意力模块输出的第t帧第i个骨架关键点数据为st,i，如式(Ⅵ)所示：
Figure BDA0002674817630000096
式(Ⅵ)中，ft,i是ft的第i个元素；
j、骨架数据经过基于LSTM的时空注意力模块输出X，如式(Ⅶ)所示：
Figure BDA0002674817630000097
k、计算空间特征，空间特征是指每一帧相邻骨架关键点之间的坐标差Space，如式(Ⅷ)所示；
Figure BDA0002674817630000098
计算时间特征，时间特征是指两个连续帧之间每个关键点的坐标差来表示时间特征Time，如式(Ⅸ)所示；
Figure BDA0002674817630000099
通过插值调整空间特征及时间特征的数据维度为T*n*d；
l、分别将空间特征和时间特征输入到两组卷积层组中进行特征提取；
特征提取是卷积层的一种作用，数据输入到卷积层中，通过训练这个模型，可以提取它的特征，空间特征和时间特征输入到两组卷积层组中的目的是实现特征提取，它的实现过程是通过训练卷积网络来完成的。
m、通过两组卷积层提取的两部分特征映射通过所述级联层级联；级联是指将两部分特征映射沿着channel维度进行连接，除了channel维度，在其他维度上两者的尺寸相同。级联也就是concatenate，是神经网络模型中一种常用的特征聚合方式。
n、输入到第一卷积层、第二卷积层中进行特征融合，并最终经过全连接层进行分类，第六全连接层的输出通过softmax函数输出预测6种动作的概率，概率最大的动作就是最终分类的结果。
步骤(5)中，根据疲劳检测算法判断司机是否处于疲劳状态，若司机存在疲劳状态，则发出预警信号提醒司机及工作人员，如图7所示，是指：
当出现以下情况之一时，认为司机处于疲劳状态：
①检测到低头动作，设定时间3s-6s内没有检测到抬头动作；
②检测到仰头动作，设定时间3s-6s内没有检测到仰头状态恢复至平视的动作；
③检测到点头动作，设定时间4s-6s内检测到点头动作的次数超过2-3次。
综上所述，本发明将基于骨架数据的行为识别应用于司机的疲劳检测，相比于传统方法，无需增加额外的设备仪器，大大减少了检测的成本；骨架数据不受天气、光照条件、背景等因素的影响，模型的鲁棒性较好；所提出的基于注意力机制的卷积神经网络，能大大提高疲劳检测的准确度。
实施例3
根据实施例2所述的一种基于骨架数据行为识别的司机疲劳检测方法，其区别在于：
设定时间为5s，点头动作的次数为2次。

Claims (6)

1.一种基于骨架数据行为识别的司机疲劳检测方法，其特征在于，包括步骤如下：
A、训练基于注意力机制的卷积神经网络模型
(1)采集驾驶室中不同时间、不同对象的多段监控视频；
(2)提取步骤(1)获取的视频中司机头部每一帧的骨架关键点数据；
(3)对采集到的骨架关键点数据进行筛选，制作标签，构建数据集；
(4)基于步骤(3)的数据集训练设计好的基于注意力机制的卷积神经网络模型，基于注意力机制的卷积神经网络模型包括依次连接的基于LSTM的时空注意力模块和基于CNN的时空特征提取网络；
所述基于LSTM的时空注意力模块包括依次连接的时间注意力模块及空间注意力模块；所述时间注意力模块用于对不同的帧数据赋予不同大小的关注；所述空间注意力模块用于对每一帧的7个关键点赋予不同大小的关注；
所述时间注意力模块包括依次连接的LSTM、第一全连接层、第二全连接层、第一Softmax层；所述空间注意力模块包括依次连接的第三全连接层、第四全连接层、第二Softmax层；
所述基于CNN的时空特征提取网络包括两组卷积层组、级联层、第一卷积层、第二卷积层、池化层、第五全连接层、第六全连接层；两组卷积层组均连接所述级联层，所述级联层、第一卷积层、第二卷积层、池化层、第五全连接层、第六全连接层依次连接；每组卷积层组包括三层依次连接的卷积层；
B、通过步骤A训练好的基于注意力机制的卷积神经网络模型进行司机疲劳检测
(5)实时采集驾驶室中的监控视频，提取司机头部每一帧的骨架关键点数据，输入到训练好的基于注意力机制的卷积神经网络模型中，输出司机低头、抬头、仰头、点头、仰头状态恢复至平视、其它动作的检测结果，根据疲劳检测算法判断司机是否处于疲劳状态，若司机存在疲劳状态，则发出预警信号提醒司机及工作人员；
步骤(4)中，基于步骤(3)的数据集训练设计好的基于注意力机制的卷积神经网络模型，包括步骤如下：
d、第t帧的骨架关键点数据xt输入到LSTM中，输出LSTM的隐藏层变量ht，xt和前一时刻的隐藏层变量ht-1输入到第一全连接层，经过tanh激活函数和第二全连接层得到
Figure FDA0003019202370000011
如式(I)所示：
Figure FDA0003019202370000021
式(I)中，W1 (time)是ht-1对应的第一全连接层的权重矩阵，
Figure FDA0003019202370000022
是xt对应的第一全连接层的权重矩阵，w(time)是第二全连接层的权重矩阵，b(time)是第一全连接层的偏置项；
e、
Figure FDA0003019202370000023
经过第一Softmax层输出权重参数
Figure FDA0003019202370000024
如式(Ⅱ)所示：
Figure FDA0003019202370000025
式(Ⅱ)中，T为动作的总帧数；
f、所述时间注意力模块输出第t帧数据ft，如式(III)所示：
Figure FDA0003019202370000026
g、将时间注意力模块输出第t帧数据ft和LSTM前一时刻的隐藏层变量ht-1输入到第三全连接层，经过tanh激活函数和第四全连接层得到
Figure FDA0003019202370000027
如式(IV)所示：
Figure FDA0003019202370000028
式(IV)中，W1 (space)是ht-1对应的第三全连接层的权重矩阵，
Figure FDA0003019202370000029
是ft对应的第三全连接层的权重矩阵，w(space)是第四全连接层的权重矩阵，b(space)是第三全连接层的偏置项；
h、
Figure FDA00030192023700000210
经过第二Softmax层输出第t帧的第i个关键点的权重参数
Figure FDA00030192023700000211
如式(Ⅴ)所示：
Figure FDA00030192023700000212
式(Ⅴ)中，N＝n*d，n为头部的骨架关键点个数，d为关键点的坐标的维度，
Figure FDA00030192023700000213
是
Figure FDA00030192023700000214
的第i个元素；
i、所述空间注意力模块输出的第t帧第i个骨架关键点数据为st,i，如式(Ⅵ)所示：
Figure FDA00030192023700000215
式(Ⅵ)中，ft,i是ft的第i个元素；
j、骨架数据经过所述基于LSTM的时空注意力模块输出X，如式(Ⅶ)所示：
Figure FDA0003019202370000031
k、计算空间特征，空间特征是指每一帧相邻骨架关键点之间的坐标差Space，如式(Ⅷ)所示；
Figure FDA0003019202370000032
计算时间特征，时间特征是指两个连续帧之间每个关键点的坐标差来表示时间特征Time，如式(Ⅸ)所示；
Figure FDA0003019202370000033
通过插值调整空间特征及时间特征的数据维度为T*n*d；
l、分别将空间特征和时间特征输入到两组卷积层组中进行特征提取；
m、通过两组卷积层提取的两部分特征映射通过所述级联层级联；
n、输入到第一卷积层、第二卷积层中进行特征融合，并最终经过全连接层进行分类，第六全连接层的输出通过softmax函数输出预测6种动作的概率，概率最大的动作就是最终分类的结果。
2.根据权利要求1所述的一种基于骨架数据行为识别的司机疲劳检测方法，其特征在于，步骤(5)中，根据疲劳检测算法判断司机是否处于疲劳状态，若司机存在疲劳状态，则发出预警信号提醒司机及工作人员，是指：
当出现以下情况之一时，认为司机处于疲劳状态：
①检测到低头动作，设定时间3s-6s内没有检测到抬头动作；
②检测到仰头动作，设定时间3s-6s内没有检测到仰头状态恢复至平视的动作；
③检测到点头动作，设定时间4s-6s内检测到点头动作的次数超过2-3次。
3.根据权利要求2所述的一种基于骨架数据行为识别的司机疲劳检测方法，其特征在于，设定时间为5s，步骤③次数为2次。
4.根据权利要求1所述的一种基于骨架数据行为识别的司机疲劳检测方法，其特征在于，步骤(2)中，使用OpenPose提取视频中司机头部每一帧的骨架关键点数据，骨架关键点数据包括头顶、眼睛、下巴、耳朵、脖子、左肩、右肩这7个关键点的二维坐标。
5.根据权利要求1-4任一所述的一种基于骨架数据行为识别的司机疲劳检测方法，其特征在于，步骤(3)中，对采集到的骨架关键点数据进行筛选，制作标签，构建数据集，包括步骤如下：
a、分类筛选出6种动作对应的骨架关键点数据，6种动作包括低头、抬头、仰头、点头、仰头状态恢复至平视、其它动作，点头是指低头后抬头，抬头是指由低头变为平视的动作，仰头是指由平视向后仰的动作；
b、分别对6种动作对应的骨架关键点数据制作标签；
c、将步骤b处理后的骨架数据分为训练集、验证集、测试集。
6.根据权利要求5所述的一种基于骨架数据行为识别的司机疲劳检测方法，其特征在于，步骤c中，将步骤b处理后的骨架数据按照8：1：1的比例分为训练集、验证集、测试集。
CN202010944605.1A 2020-09-10 2020-09-10 一种基于骨架数据行为识别的司机疲劳检测方法 Active CN112131981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010944605.1A CN112131981B (zh) 2020-09-10 2020-09-10 一种基于骨架数据行为识别的司机疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010944605.1A CN112131981B (zh) 2020-09-10 2020-09-10 一种基于骨架数据行为识别的司机疲劳检测方法

Publications (2)

Publication Number Publication Date
CN112131981A CN112131981A (zh) 2020-12-25
CN112131981B true CN112131981B (zh) 2021-06-22

Family

ID=73845363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010944605.1A Active CN112131981B (zh) 2020-09-10 2020-09-10 一种基于骨架数据行为识别的司机疲劳检测方法

Country Status (1)

Country Link
CN (1) CN112131981B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189595A (zh) * 2021-05-07 2021-07-30 山东大学 一种基于神经网络的双路回声目标定位方法、设备及存储介质
CN113408349B (zh) * 2021-05-17 2023-04-18 浙江大华技术股份有限公司 动作评价模型的训练方法、动作评价方法及相关设备
CN113269069B (zh) * 2021-05-18 2022-08-23 青岛科技大学 一种基于卡车司机面部特征的困倦辨识方法及装置
CN113378702B (zh) * 2021-06-09 2023-04-07 国网浙江宁波市奉化区供电有限公司 一种用于登杆作业的多特征融合的疲劳监测识别方法
CN114424941A (zh) * 2022-01-26 2022-05-03 广东电网有限责任公司 疲劳检测模型构建方法、疲劳检测方法、装置及设备
CN117079255B (zh) * 2023-10-17 2024-01-05 江西开放大学 一种基于人脸识别和语音交互的疲劳驾驶检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355306B2 (en) * 2013-09-27 2016-05-31 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
CN109101896B (zh) * 2018-07-19 2022-03-25 电子科技大学 一种基于时空融合特征和注意力机制的视频行为识别方法
CN109344790A (zh) * 2018-10-16 2019-02-15 浩云科技股份有限公司 一种基于姿态分析的人体行为分析方法及系统
CN109614895A (zh) * 2018-10-29 2019-04-12 山东大学 一种基于attention特征融合的多模态情感识别的方法
CN109784280A (zh) * 2019-01-18 2019-05-21 江南大学 基于Bi-LSTM-Attention模型的人体行为识别方法
CN111428699B (zh) * 2020-06-10 2020-09-22 南京理工大学 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统

Also Published As

Publication number Publication date
CN112131981A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112131981B (zh) 一种基于骨架数据行为识别的司机疲劳检测方法
CN110097109B (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN108932500B (zh) 一种基于深度神经网络的动态手势识别方法及系统
Zhao et al. Driver fatigue detection based on convolutional neural networks using EM-CNN
CN108764059B (zh) 一种基于神经网络的人体行为识别方法及系统
CN110717389B (zh) 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN110674701A (zh) 一种基于深度学习的驾驶员疲劳状态快速检测方法
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN109241830B (zh) 基于光照生成对抗网络的课堂听课异常检测方法
Yan et al. Driving posture recognition by joint application of motion history image and pyramid histogram of oriented gradients
CN111611905A (zh) 一种可见光与红外融合的目标识别方法
Zhao et al. Driver distraction detection method based on continuous head pose estimation
CN111563452A (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN111881802B (zh) 基于双分支时空图卷积网络的交警手势识别方法
CN112528891A (zh) 一种基于骨架信息的双向lstm-cnn的视频行为识别方法
Ezzouhri et al. Robust deep learning-based driver distraction detection and classification
CN114663807A (zh) 一种基于视频分析的吸烟行为检测方法
CN114220158A (zh) 基于深度学习的疲劳驾驶检测方法
CN114155512A (zh) 一种基于3d卷积网络多特征融合的疲劳检测方法及系统
CN112052829B (zh) 一种基于深度学习的飞行员行为监控方法
CN113723277A (zh) 一种融入多模态视觉信息的学习意图监测方法及系统
CN111626197A (zh) 一种人体行为识别网络模型及识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant