CN109284698A - 一种基于图像识别技术的疲劳驾驶行为检测方法 - Google Patents

一种基于图像识别技术的疲劳驾驶行为检测方法 Download PDF

Info

Publication number
CN109284698A
CN109284698A CN201811022927.XA CN201811022927A CN109284698A CN 109284698 A CN109284698 A CN 109284698A CN 201811022927 A CN201811022927 A CN 201811022927A CN 109284698 A CN109284698 A CN 109284698A
Authority
CN
China
Prior art keywords
face
full articulamentum
image
articulamentum
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811022927.XA
Other languages
English (en)
Inventor
王东明
黄庆毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Nio Technology Co Ltd
Original Assignee
Shenzhen Nio Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Nio Technology Co Ltd filed Critical Shenzhen Nio Technology Co Ltd
Priority to CN201811022927.XA priority Critical patent/CN109284698A/zh
Publication of CN109284698A publication Critical patent/CN109284698A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于图像识别技术的疲劳驾驶行为检测方法，运用多任务卷积神经网络对人脸、人脸朝向及人脸其他特征(左右眼、鼻子、嘴角坐标等)进行特征提取，然后对提取到的特征进行驾驶异常行为检测，该方法能快速准确地检测出异常驾驶行为，如嗜睡、注意力不集中、疲劳驾驶等。本发明能有效地提高异常驾驶行为的检测精度，并且检测结果对因光照、驾驶员头部姿态产生的干扰具有很好的鲁棒性。

Description

一种基于图像识别技术的疲劳驾驶行为检测方法
技术领域
本发明涉及智能交通领域的驾驶异常行为检测领域，尤其涉及一种基于图像识别技术的疲劳驾驶行为检测方法。
背景技术
WHO在2009年统计的一个数据显示，在全世界范围内每年由交通事故死亡的人数有123万人。但是我们知道，在朝鲜战争中，整个战争死亡的人数也差不多一百多万。也就是说，每年死于交通事故的人数差不多等于一次非常惨烈的战争的死亡人数了。根据WHO统计，在全世界范围内每年由交通事故造成的死亡人数有123万之多；而发生交通事故90％是由司机人为原因造成的，比如疲劳驾驶、注意力不集中、超速、安全意识弱等等。
目前异常驾驶行为检测主要分为接触式和非接触式两大类。接触式检测主要有两类：(1)基于驾驶员生理特征分析的异常行为检测。这类方法需要驾驶员佩戴一些传感器，操作复杂佩戴不便，极易受到驾驶员个体因素的影响，不能真实有效反应驾驶异常情况，并且由于价格和佩戴舒适度的影响，推广不易；(2)基于车辆传感器检测系统，这类方法是通过安装能够检测出车辆状态的各类传感器，通过车辆状态分析驾驶员行为判断驾驶异常情况，此种方法对硬件要求高，价格昂贵，且由于不同驾驶员的驾驶行为差异较大，十分容易造成干扰，误报率高。
非接触式检测方法目前主要是通过在车内安装摄像头，通过传统的图像处理的方法进行检测分析，这种方法相比接触式检测方法受干扰因素小，使用方便，价格便宜，但容易受到光照、驾驶员姿态等因素的影响，造成准确率不高的问题。
传统的非接触式驾驶异常行为检测流程是，先进行人脸检测，然后进行人眼定位，嘴部定位，最后判断眼睛的闭合情况及嘴部张合情况。因此人脸检测的准确性对后期驾驶异常行为的判断至关重要。而传统的非接触式驾驶异常行为检测方法准确性不高，或者实时性较差。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明的目的是克服现有技术的不足，提供一种基于图像识别技术的疲劳驾驶行为检测方法，有效地提高异常驾驶行为的检测精度。
本发明的技术方案如下：提供一种基于图像识别技术的疲劳驾驶行为检测方法，包括模型训练阶段以及测试阶段，所述模型训练阶段包括如下步骤：
步骤S1：输入图像：从数据库中选取人脸数据作为样本图像；
步骤S2：标注样本图像：对收集到的人脸数据进行标注，标注的信息包括人脸信息、人脸姿态信息以及人脸其他特征信息，人脸其它特征信息包括左眼、右眼、左嘴角、右嘴角以及鼻子的信息；
步骤S3：MTDCNN训练：采用多任务卷积神经网络对图像进行训练，获取多任务卷积神经网络人脸检测模型；
步骤S4：损失函数计算：分别计算人脸检测损失函数、人脸姿态损失函数、人脸其他特征点损失函数以及模型总的损失函数；
所述测试阶段包括：
步骤Q1：输入图像：输入采集到的驾驶员的图像；
步骤Q2：人脸特征提取：运用多任务卷积神经网络人脸检测模型提取人脸特征，包括提取人脸信息、人脸姿态信息以及人脸其他特征信息，并将提取到的信息输入；
步骤Q3：输出人脸特征：采用canny边缘检测算法提取人脸特征的边缘特征并输出特征；
步骤Q4：驾驶异常行为检测：统计每秒钟检测到的人脸次数，当连续超过T秒未接收到检测到的人脸结果信息，则发出驾驶注意力不集中警告；统计每秒钟人脸朝向结果，当连续超过W秒未接收到人脸朝向为正面的结果，则发出驾驶注意力不集中警报；统计每秒眼睛闭合的次数，当超过设定阈值时，发出嗜睡危险驾驶行为警告；统计每秒打哈欠的次数，当超过设定阈值时，发出疲劳驾驶危险行为警告。
进一步地，在步骤S2中，每张图像包括第一标注、第二标注以及第三标注，所述第一标注代表人脸信息，其用“a0”或“a1”表示，“a0”代表图像不包含人脸信息，“a1”代表图像包含人脸信息；所述第二标注代表人脸姿态信息，其用“B”、“b0”、“b1”、“b2”、“b3”或“b4”表示，其中“B”代表无人脸姿态信息，“b0”代表正面，“b1”代表左侧，“b2”代表右侧、“b3”代表角度大于15°朝下侧，“b4”代表角度大于15°朝上侧；所述第三标注代表人脸其他特征信息，其用大写“C”、或小写“c”与位于小写“c”后的五个数字表示，大写“C”表示无其他人脸特征信息，小写“c”后的第一个数字包括“0”、“1”、“2”、“3”、“4”，“0”代表右眼，“1”代表左眼，“2”代表鼻子，“3”代表右嘴角，“4”代表左嘴角，小写“c”后的第二个数字至第三个数字代表在图像X轴的坐标位置，小写“c”后的第四个数字至第五个数字代表在图像Y轴的坐标位置。
进一步地，所述多任务卷积神经网络包括：第一至第三卷积层、第一池化层、第二池化层、第一至第八全连接层、以及第一至第四dropout层。
进一步地，第一卷积层后面为第一池化层，第一池化层后面为第二卷积层，第二卷积层后面为第三卷积层，第三卷积层后面为第二池化层，第二池化层后面为第一全连接层，然后网络分出三个分支；第一分支用来进行人脸检测，其包括第二全连接层以及位于第二全连接层后的第三全连接层，来自第一全连接层的输出送入第二全连接层，然后再送入第三全连接层，最后送入到softmax函数；第二分支用来进行人脸姿态检测，其包括第四全连接层以及位于第四全连接层后的第五全连接层，来自第一全连接层的输出送入第四全连接层，然后再送入第五全连接层，最后送入到softmax函数；第三分支用来进行其他特征点检测，其包括第六全连接层、位于第六全连接层后面的第七全连接层以及位于第七全连接层后的第八全连接层，来自第一全连接层的输出依次送入第六全连接层、第七全连接层、第八全连接层，最后送入到带权重的均方误差函数。
进一步地，第一卷积层卷积核大小为5×5，其卷积层数为32，第一池化层大小为2×2，第二卷积层卷积核大小为3×3，其卷积层数为32，第三卷积层卷积核大小为3×3，其卷积层数为24，第二池化层大小为2×2，第一全连接层包含512个神经元，第二全连接层包括128个神经元，第三全连接层包括2个神经元，第四全连接层包括128个神经元，第五全连接层包括5个神经元，第六全连接层包括256个神经元，第七全连接层包括196个神经元，第八全连接层包括10个神经元。
进一步地，所述多任务卷积神经网络还包括第一ReLU层以及第二ReLU层，第一ReLU层位于第一卷积层后面，第二ReLU层位于第二卷积层后面。
进一步地，所述人脸损失函数公式如下：
所述人脸朝向损失函数公式如下：
所述人脸其他特征点损失函数公式如下：
所述模型总的损失函数公式如下：
进一步地，在步骤S3以及步骤Q2之前，需要对图像进行预处理，主要包括图像去噪和图像增强。
进一步地，所述数据库包括数据集LFW和自己采集的数据，共100000副图片。
采用上述方案，本发明运用多任务卷积神经网络对人脸、人脸朝向及人脸其他特征(左右眼、鼻子、嘴角坐标等)进行特征提取，然后对提取到的特征进行驾驶异常行为检测，该方法能快速准确地检测出异常驾驶行为，如嗜睡、注意力不集中、疲劳驾驶等。本发明能有效地提高异常驾驶行为的检测精度，并且检测结果对因光照、驾驶员头部姿态产生的干扰具有很好的鲁棒性。
附图说明
图1为本发明训练阶段的流程图。
图2为本发明测试阶段的流程图。
图3为本发明多任务卷积神经网络的结构示意图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
请参阅图1，本发明提供一种基于图像识别技术的疲劳驾驶行为检测方法，包括模型训练阶段以及测试阶段，所述模型训练阶段包括如下步骤：
步骤S1：输入图像：从数据库中选取人脸数据作为样本图像，所述数据库包括数据集LFW和自己采集的数据，共100000副图片。
步骤S2：标注样本图像：对收集到的人脸数据进行标注，标注的信息包括人脸信息、人脸姿态信息以及人脸其他特征信息，人脸其他特征信息包括左眼、右眼、左嘴角、右嘴角以及鼻子的信息。每张图像包括第一标注、第二标注以及第三标注，所述第一标注代表人脸信息，其用“a0”或“a1”表示，“a0”代表图像不包含人脸信息，“a1”代表图像包含人脸信息。所述第二标注代表人脸姿态信息，其用“B”、“b0”、“b1”、“b2”、“b3”或“b4”表示，其中“B”代表无人脸姿态信息，“b0”代表正面，“b1”代表左侧，“b2”代表右侧、“b3”代表角度大于15°朝下侧，“b4”代表角度大于15°朝上侧。所述第三标注代表人脸其他特征信息，其用大写“C”、或小写“c”与位于小写“c”后的五个数字表示，大写“C”表示无其他人脸特征信息，小写“c”后的第一个数字包括“0”、“1”、“2”、“3”、“4”，“0”代表右眼，“1”代表左眼，“2”代表鼻子，“3”代表右嘴角，“4”代表左嘴角，小写“c”后的第二个数字至第三个数字代表在图像X轴的坐标位置，小写“c”后的第四个数字至第五个数字代表在图像Y轴的坐标位置。例如标注为a1b2c10203。
步骤S3：图像预处理：对图像去噪和图像增强。
步骤S4：MTDCNN训练：采用多任务卷积神经网络对图像进行训练，获取多任务卷积神经网络人脸检测模型。请参阅图3，其中，所述多任务卷积神经网络包括：第一至第三卷积层2-4、第一池化层、第二池化层、第一至第八全连接层5-12、以及第一至第四dropout层。
图3中1为输入的图像，第一卷积层2卷积核大小为5×5，卷积层数为32，其后面为第一池化层，第一池化层大小为2×2；第一池化层后面为第二卷积层3，第二卷积层3卷积核大小为3×3，卷积层数为32；第二卷积层3后面为第三卷积层4，第三卷积层4卷积核大小为3×3，卷积层数为24，其后面为第二池化层，第二池化层大小为2×2；
所述多任务卷积神经网络还包括第一ReLU层以及第二ReLU层，第一ReLU层位于第一卷积层2后面，第二ReLU层位于第二卷积层3后面，第一ReLU层以及第二ReLU层作为激活函数以加快网络收敛，第三卷积层4后不加ReLU层以保留重要的特征信息。
第二池化层后面为第一全连接层5，其包含512个神经元，然后网络分出三个分支。
第一分支用来进行人脸检测，其包括第二全连接层6以及位于第二全连接层6后的第三全连接层7，第二全连接层6包括128个神经元，第三全连接层7包括2个神经元，来自第一全连接层5的输出送入第二全连接层6，然后再送入第三全连接层7，最后送入到softmax函数。结果为“1”代表包含人脸信息，结果为“0”代表不包含人脸信息。第二全连接层6后设有第一dropout层。
第二分支用来进行人脸姿态检测，其包括第四全连接层8以及位于第四全连接层8后的第五全连接层9，第四全连接层8包括128个神经元，第五全连接层9包括5个神经元，来自第一全连接层5的输出送入第四全连接层8，然后再送入第五全连接层9，最后送入到softmax函数。结果为“0”代表正面、“1”代表左侧、“2”代表右侧、“3”代表大于15°朝下侧、或“4”代表大于15°朝上侧。第四全连接层8后设有第二dropout层。
第三分支用来进行其他特征点检测，其包括第六全连接层10、位于第六全连接层10后面的第七全连接层11以及位于第七全连接层11后的第八全连接层12，第六全连接层10包括256个神经元，第七全连接层11包括196个神经元，第八全连接层12包括10个神经元，来自第一全连接层5的输出依次送入第六全连接层10、第七全连接层11、第八全连接层12，最后送入到带权重的均方误差函数，结果为“0”右眼、“1”左眼、“2”鼻子、“3”右嘴角或“4”左嘴角在图像中的坐标位置。第六全连接层10后设有第三dropout层，第七全连接层11后设有第四dropout层。
步骤S5：损失函数计算：分别计算人脸检测损失函数、人脸姿态损失函数、人脸其他特征点损失函数以及模型总的损失函数。
所述人脸损失函数公式如下：
其中，yi代表为第一分支中softmax函数输出的结果，代表是人脸或非人脸的概率。当检测结果为人脸时，t1＝1，t2＝0；当检测结果非人脸时，t1＝0，t2＝1。
所述人脸朝向损失函数公式如下：
其中，yi代表为第二分支中softmax函数输出的结果，代表人脸朝向的概率。当人脸朝向为正面时，t1＝1，若非正面，t1＝0。当人脸朝向为左侧时，t2＝1，若非左侧，t2＝0。当人脸朝向为右侧时，t3＝1，若非右侧，t3＝0。当人脸朝向为大于15°朝下侧面时，t4＝1，若否，则t4＝0。当人脸朝向为大于15°朝上侧面时，t5＝1，若否，则t5＝0。举例说明，当人脸朝向为正面时，ti值为(1,0,0,0,0)，当人脸朝向为左侧时，ti值为(0,1,0,0,0)，当人脸朝向为正面且大于15°朝下侧面时，ti值为(1,0,0,1,0)。
所述人脸其他特征点损失函数公式如下：
其中，yi代表第三分支中带权重的均方误差函数的输出结果。W代表对应人脸特征点的权重值，z代表输入图像的位置，n取10，每个人脸特征的坐标包含x和y两个值。
由于本发明使用的是多任务深度学习，而输入的图像可能只包含某个检测信息，如图像中只有一部分人脸信息，而人脸其他特征不全，为了不影响模型训练收敛，将所有任务综合训练，并设置不同的权重，模型总的损失函数公式如下：
ai代表不同任务的权重值，所有任务的权重值之和等于1；任务越重要ai值越大，L代表上述的L1、L2或L3。
请参阅图2，所述测试阶段包括：
步骤Q1：输入图像：输入采集到的驾驶员的图像；
步骤Q2：图像预处理：对图像去噪和图像增强。
步骤Q3：人脸特征提取：运用多任务卷积神经网络人脸检测模型提取人脸特征，包括提取人脸信息、人脸姿态信息以及人脸其他特征信息，并将提取到的信息输入；
步骤Q4：输出人脸特征：采用canny边缘检测算法提取人脸特征的边缘特征并输出特征；
步骤Q5：驾驶异常行为检测：统计每秒钟检测到的人脸次数，当连续超过T秒未接收到检测到的人脸结果信息，则发出驾驶注意力不集中警告。统计每秒钟人脸朝向结果，当连续超过W秒未接收到人脸朝向为正面的结果，则发出驾驶注意力不集中警报。
根据第三分支检测出的左眼、右眼、左嘴角、右嘴角的长度，再根据提取到的左眼、右眼以及嘴巴的边缘，计算出左右眼以及嘴角的宽度。根据左右眼长度和宽度之比与设定的阈值比较，判断眼睛是睁开还是闭合，根据嘴巴的长度和宽度之比与设定的阈值相比较，判断是否打哈欠。统计每秒眼睛闭合的次数，当超过设定阈值时，发出嗜睡危险驾驶行为警告。统计每秒打哈欠的次数，当超过设定阈值时，发出疲劳驾驶危险行为警告。
综上所述，本发明运用多任务卷积神经网络对人脸、人脸朝向及人脸其他特征(左右眼、鼻子、嘴角坐标等)进行特征提取，然后对提取到的特征进行驾驶异常行为检测，该方法能快速准确地检测出异常驾驶行为，如嗜睡、注意力不集中、疲劳驾驶等。本发明能有效地提高异常驾驶行为的检测精度，并且检测结果对因光照、驾驶员头部姿态产生的干扰具有很好的鲁棒性。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，包括模型训练阶段以及测试阶段，所述模型训练阶段包括如下步骤：
步骤S1：输入图像：从数据库中选取人脸数据作为样本图像；
步骤S2：标注样本图像：对收集到的人脸数据进行标注，标注的信息包括人脸信息、人脸姿态信息以及人脸其他特征信息，人脸其它特征信息包括左眼、右眼、左嘴角、右嘴角以及鼻子的信息；
步骤S3：MTDCNN训练：采用多任务卷积神经网络对图像进行训练，获取多任务卷积神经网络人脸检测模型；
步骤S4：损失函数计算：分别计算人脸检测损失函数、人脸姿态损失函数、人脸其他特征点损失函数以及模型总的损失函数；
所述测试阶段包括：
步骤Q1：输入图像：输入采集到的驾驶员的图像；
步骤Q2：人脸特征提取：运用多任务卷积神经网络人脸检测模型提取人脸特征，包括提取人脸信息、人脸姿态信息以及人脸其他特征信息，并将提取到的信息输入；
步骤Q3：输出人脸特征：采用canny边缘检测算法提取人脸特征的边缘特征并输出特征；
步骤Q4：驾驶异常行为检测：统计每秒钟检测到的人脸次数，当连续超过T秒未接收到检测到的人脸结果信息，则发出驾驶注意力不集中警告；统计每秒钟人脸朝向结果，当连续超过W秒未接收到人脸朝向为正面的结果，则发出驾驶注意力不集中警报；统计每秒眼睛闭合的次数，当超过设定阈值时，发出嗜睡危险驾驶行为警告；统计每秒打哈欠的次数，当超过设定阈值时，发出疲劳驾驶危险行为警告。
2.根据权利要求1所述的基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，在步骤S2中，每张图像包括第一标注、第二标注以及第三标注，所述第一标注代表人脸信息，其用“a0”或“a1”表示，“a0”代表图像不包含人脸信息，“a1”代表图像包含人脸信息；所述第二标注代表人脸姿态信息，其用“B”、“b0”、“b1”、“b2”、“b3”或“b4”表示，其中“B”代表无人脸姿态信息，“b0”代表正面，“b1”代表左侧，“b2”代表右侧、“b3”代表角度大于15°朝下侧，“b4”代表角度大于15°朝上侧；所述第三标注代表人脸其他特征信息，其用大写“C”、或小写“c”与位于小写“c”后的五个数字表示，大写“C”表示无其他人脸特征信息，小写“c”后的第一个数字包括“0”、“1”、“2”、“3”、“4”，“0”代表右眼，“1”代表左眼，“2”代表鼻子，“3”代表右嘴角，“4”代表左嘴角，小写“c”后的第二个数字至第三个数字代表在图像X轴的坐标位置，小写“c”后的第四个数字至第五个数字代表在图像Y轴的坐标位置。
3.根据权利要求1所述的基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，所述多任务卷积神经网络包括：第一至第三卷积层、第一池化层、第二池化层、第一至第八全连接层、以及第一至第四dropout层。
4.根据权利要求3所述的基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，第一卷积层后面为第一池化层，第一池化层后面为第二卷积层，第二卷积层后面为第三卷积层，第三卷积层后面为第二池化层，第二池化层后面为第一全连接层，然后网络分出三个分支；第一分支用来进行人脸检测，其包括第二全连接层以及位于第二全连接层后的第三全连接层，来自第一全连接层的输出送入第二全连接层，然后再送入第三全连接层，最后送入到softmax函数；第二分支用来进行人脸姿态检测，其包括第四全连接层以及位于第四全连接层后的第五全连接层，来自第一全连接层的输出送入第四全连接层，然后再送入第五全连接层，最后送入到softmax函数；第三分支用来进行其他特征点检测，其包括第六全连接层、位于第六全连接层后面的第七全连接层以及位于第七全连接层后的第八全连接层，来自第一全连接层的输出依次送入第六全连接层、第七全连接层、第八全连接层，最后送入到带权重的均方误差函数。
5.根据权利要求4所述的基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，第一卷积层卷积核大小为5×5，其卷积层数为32，第一池化层大小为2×2，第二卷积层卷积核大小为3×3，其卷积层数为32，第三卷积层卷积核大小为3×3，其卷积层数为24，第二池化层大小为2×2，第一全连接层包含512个神经元，第二全连接层包括128个神经元，第三全连接层包括2个神经元，第四全连接层包括128个神经元，第五全连接层包括5个神经元，第六全连接层包括256个神经元，第七全连接层包括196个神经元，第八全连接层包括10个神经元。
6.根据权利要求4所述的基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，所述多任务卷积神经网络还包括第一ReLU层以及第二ReLU层，第一ReLU层位于第一卷积层后面，第二ReLU层位于第二卷积层后面。
7.根据权利要求1所述的基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，所述人脸损失函数公式如下：
所述人脸朝向损失函数公式如下：
所述人脸其他特征点损失函数公式如下：
所述模型总的损失函数公式如下：
8.根据权利要求1所述的基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，在步骤S3以及步骤Q2之前，需要对图像进行预处理，主要包括图像去噪和图像增强。
9.根据权利要求1所述的基于图像识别技术的疲劳驾驶行为检测方法，其特征在于，所述数据库包括数据集LFW和自己采集的数据，共100000副图片。
CN201811022927.XA 2018-09-03 2018-09-03 一种基于图像识别技术的疲劳驾驶行为检测方法 Pending CN109284698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811022927.XA CN109284698A (zh) 2018-09-03 2018-09-03 一种基于图像识别技术的疲劳驾驶行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811022927.XA CN109284698A (zh) 2018-09-03 2018-09-03 一种基于图像识别技术的疲劳驾驶行为检测方法

Publications (1)

Publication Number Publication Date
CN109284698A true CN109284698A (zh) 2019-01-29

Family

ID=65184366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811022927.XA Pending CN109284698A (zh) 2018-09-03 2018-09-03 一种基于图像识别技术的疲劳驾驶行为检测方法

Country Status (1)

Country Link
CN (1) CN109284698A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948509A (zh) * 2019-03-11 2019-06-28 成都旷视金智科技有限公司 对象状态监测方法、装置及电子设备
CN109948542A (zh) * 2019-03-19 2019-06-28 北京百度网讯科技有限公司 手势识别方法、装置、电子设备和存储介质
CN109977786A (zh) * 2019-03-01 2019-07-05 东南大学 一种基于视频及肤色区域距离的驾驶员姿态检测方法
CN110103822A (zh) * 2019-05-17 2019-08-09 深圳市尼欧科技有限公司 一种驾驶行为习惯智能检测及安全驾驶评分的装置和方法
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110751011A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 驾驶安全检测方法、驾驶安全检测装置及车载终端
CN110837810A (zh) * 2019-11-12 2020-02-25 北京儒博科技有限公司 一种人脸注意力判断方法、装置、设备及存储介质
CN111563468A (zh) * 2020-05-13 2020-08-21 电子科技大学 一种基于神经网络注意力的驾驶员异常行为检测方法
CN112907897A (zh) * 2021-02-26 2021-06-04 浙江南盾科技发展有限公司 一种车载防疲劳驾驶提醒设备
CN117612142A (zh) * 2023-11-14 2024-02-27 中国矿业大学 基于多任务联合模型的头部姿态与疲劳状态检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田卓: "基于多任务协同深度学习的疲劳检测系统研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977786B (zh) * 2019-03-01 2021-02-09 东南大学 一种基于视频及肤色区域距离的驾驶员姿态检测方法
CN109977786A (zh) * 2019-03-01 2019-07-05 东南大学 一种基于视频及肤色区域距离的驾驶员姿态检测方法
CN109948509A (zh) * 2019-03-11 2019-06-28 成都旷视金智科技有限公司 对象状态监测方法、装置及电子设备
CN109948542A (zh) * 2019-03-19 2019-06-28 北京百度网讯科技有限公司 手势识别方法、装置、电子设备和存储介质
CN109948542B (zh) * 2019-03-19 2022-09-23 北京百度网讯科技有限公司 手势识别方法、装置、电子设备和存储介质
US10983596B2 (en) 2019-03-19 2021-04-20 Beijing Baidu Netcom Science And Technology Co., Ltd. Gesture recognition method, device, electronic device, and storage medium
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110119676B (zh) * 2019-03-28 2023-02-03 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110103822A (zh) * 2019-05-17 2019-08-09 深圳市尼欧科技有限公司 一种驾驶行为习惯智能检测及安全驾驶评分的装置和方法
CN110751011A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 驾驶安全检测方法、驾驶安全检测装置及车载终端
CN110837810A (zh) * 2019-11-12 2020-02-25 北京儒博科技有限公司 一种人脸注意力判断方法、装置、设备及存储介质
CN111563468A (zh) * 2020-05-13 2020-08-21 电子科技大学 一种基于神经网络注意力的驾驶员异常行为检测方法
CN112907897A (zh) * 2021-02-26 2021-06-04 浙江南盾科技发展有限公司 一种车载防疲劳驾驶提醒设备
CN117612142A (zh) * 2023-11-14 2024-02-27 中国矿业大学 基于多任务联合模型的头部姿态与疲劳状态检测方法
CN117612142B (zh) * 2023-11-14 2024-07-12 中国矿业大学 基于多任务联合模型的头部姿态与疲劳状态检测方法

Similar Documents

Publication Publication Date Title
CN109284698A (zh) 一种基于图像识别技术的疲劳驾驶行为检测方法
CN109034134A (zh) 基于多任务深度卷积神经网络的异常驾驶行为检测方法
CN104637246B (zh) 一种驾驶员多种行为预警系统及危险评估方法
CN108460345A (zh) 一种基于人脸关键点定位的面部疲劳检测方法
CN109345770A (zh) 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN107403142B (zh) 一种微表情的检测方法
CN106250845A (zh) 基于卷积神经网络的火焰检测方法及装置
CN103390164B (zh) 基于深度图像的对象检测方法及其实现装置
CN101441717B (zh) 一种色情视频检测方法及检测系统
CN105787472B (zh) 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
CN106611169A (zh) 一种基于深度学习的危险驾驶行为实时检测方法
CN110837784A (zh) 一种基于人体头部特征的考场偷窥作弊检测系统
CN106909220A (zh) 一种适用于触控的视线交互方法
CN104992148A (zh) 基于随机森林的atm终端部分遮挡人脸关键点检测方法
CN103971106B (zh) 多视角人脸图像性别识别方法及装置
CN109543986A (zh) 基于用户画像的监狱罪犯三预风险评估方法及系统
CN106250825A (zh) 一种在医保应用中场景自适应的人脸识别系统
CN109544523A (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置
CN208969813U (zh) 一种孩童遗留车内报警系统
CN109063686A (zh) 一种汽车驾驶员疲劳检测方法及系统
CN110032970A (zh) 高准确率的活体检测方法、装置、计算机设备及存储介质
CN106548132A (zh) 融合眼睛状态和心率检测的疲劳驾驶检测方法
CN110210382A (zh) 一种基于时空特征识别的人脸疲劳驾驶检测方法及装置
CN101539989A (zh) 基于人脸检测的错误阅读姿势检测方法
CN110263663A (zh) 一种基于多维面部特征的驾驶员多级疲劳度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication