CN113936336A - 一种基于机器视觉的动车司机疲劳驾驶检测方法 - Google Patents

一种基于机器视觉的动车司机疲劳驾驶检测方法 Download PDF

Info

Publication number
CN113936336A
CN113936336A CN202111328955.6A CN202111328955A CN113936336A CN 113936336 A CN113936336 A CN 113936336A CN 202111328955 A CN202111328955 A CN 202111328955A CN 113936336 A CN113936336 A CN 113936336A
Authority
CN
China
Prior art keywords
gesture
real
sequence
image
evaluation index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111328955.6A
Other languages
English (en)
Inventor
孟令杰
闫秀丽
侯园园
齐园圃
邢华燕
阿娜什金娜.娜塔莉娅
格纳缇芙.玛丽娜
卡柳科.阿廖娜
舍斯托帕洛·奥利伽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Railway Vocational and Technical College
Original Assignee
Zhengzhou Railway Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Railway Vocational and Technical College filed Critical Zhengzhou Railway Vocational and Technical College
Priority to CN202111328955.6A priority Critical patent/CN113936336A/zh
Publication of CN113936336A publication Critical patent/CN113936336A/zh
Priority to ZA2022/03301A priority patent/ZA202203301B/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体涉及一种基于机器视觉的动车司机疲劳驾驶检测方法。该方法获取一次历史行驶过程中采集的图像数据，以分析获取动车司机的历史状态数据；基于多次历史行驶过程，获取动车司机的基准状态数据；根据动车司机实时行驶过程中得到状态数据与基准状态数据之间的差异实时检测动车司机的疲劳驾驶检测结果。根据司机的驾驶习惯对动车司机的驾驶状态进行实时检测，从而确保疲劳检测结果的准确性，保证动车安全平稳的运行。

Description

一种基于机器视觉的动车司机疲劳驾驶检测方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于机器视觉的动车司机疲劳驾驶检测方法。
背景技术
动车因其时速快、环境好成为越来越多人的选择，且在动车行驶的过程中，为了保证动车安全平稳的运行，动车司机需要保持注意力高度集中，对动车前方出现的信号及时做出相应的手势，同时关注动车运行情况及时处理各种突发情况。为了保障动车的平稳运行，需要对动车司机的驾驶状态进行检测，防止动车司机疲劳驾驶。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于机器视觉的动车司机疲劳驾驶检测方法，所采用的技术方案具体如下：
本发明实施例提供了一种基于机器视觉的动车司机疲劳驾驶检测方法，该方法包括以下具体步骤：
获取历史行驶过程中动车司机的正视图像序列；检测所述正视图像序列中每帧图像的手势类别，所述手势特别包括所述特定手势和非特定手势；根据所述手势类别将所述历史行驶过程分为多个历史时间段；获取每个所述历史时间段对应所述手势类别的手势特征序列；由每帧图像的眼睛区域得到每个所述历史时间段内动车司机的眨眼特征序列；根据每个所述特定手势的位置获取手势位置序列；
对于特定动车路线的多次所述历史行驶过程，由多个所述手势位置序列获取基准手势位置序列、根据相同所述特定手势对应的多个所述手势特征序列得到每个所述特定手势的基准手势特征序列；由所有所述历史时间段的所述眨眼特征序列得到基准眨眼特征序列；
在动车司机的实时行驶过程中，对采集的每帧实时正视图像进行所述手势类别检测以得到对应的实时时间段；分别计算每个所述特定手势对应的实时时间段内的实时手势特征序列和对应的所述基准手势特征序列之间的差异以得到手势评价指标、实时眨眼特征序列和所述基准眨眼特征序列之间的差异以得到眨眼频率评价指标、所述特定手势对应的实时手势位置和所述基准手势位置序列以得到手势反应速度指标；
基于所述手势评价指标、所述眨眼频率评价指标和所述手势反应速度指标计算每个所述特定手势对应实时时间段的疲劳驾驶检测结果。
优选的，所述基于所述手势评价指标、所述眨眼频率评价指标和所述手势反应速度指标计算每个所述特定手势对应实时时间段的疲劳驾驶检测结果的方法，包括：
计算所述特定手势对应的每个实时时间段内所述手势评价指标、所述眨眼频率评价指标和所述手势反应速度指标之间的均值，将第一个所述特定手势和第二个所述特定手势对应的实时时间段的所述均值作为其所述疲劳驾驶检测结果、将剩余特定手势对应的实时时间段的所述均值作为其疲劳驾驶测量值；
分别获取每个剩余特定手势对应实时时间段的评价指标及其之前所有所述特定手势对应的评价指标，评价指标包括三个类别：所述眨眼频率评价指标、所述手势评价指标以及所述手势反应速度指标；将每一个类别的评价指标按照采集的先后时间为横坐标、评价指标的数值为纵坐标，分别构建三个散点图，基于每个所述散点图对应评价指标的变化得到每个剩余特定手势对应实时时间段的疲劳驾驶预测值；
结合所述疲劳驾驶测量值和所述疲劳驾驶预测值得到每个剩余特定手势对应的实时时间段的所述疲劳驾驶检测结果。
优选的，所述基于每个所述散点图对应评价指标的变化得到每个剩余特定手势对应实时时间段的疲劳驾驶预测值的方法，包括：
对于每个剩余特定手势对应实时时间段的三个所述散点图，分别拟合每个所述散点图中散点的直线以得到直线斜率；由所述直线斜率计算平均斜率，将所述平均斜率作为所述动车司机的疲劳驾驶平均趋势；由所述直线斜率获取所述疲劳驾驶平均趋势的置信度；
基于排列熵算法计算每个所述散点图的排列熵以得到排列熵均值；结合所述疲劳驾驶平均趋势、所述置信度和所述排列熵均值得到每个剩余特定手势对应实时时间段的所述疲劳驾驶预测值。
优选的，所述由所述直线斜率获取所述疲劳驾驶平均趋势的置信度的方法，包括：
以每个所述直线斜率为节点、两两节点之间连成一条边得到图结构，根据所述图结构中每条边对应所述直线斜率之间的差异得到所述置信度。
优选的，所述基于排列熵算法计算每个所述散点图的排列熵以得到排列熵均值的方法，包括：
将所述散点图中的所述评价指标组成评价指标序列，根据设定的嵌入维度和时间延迟对所述评价指标序列进行采样得到多个与所述嵌入维度相等长度的子序列；
将所述子序列中的元素按照数值递增进行重新排序得到新子序列，获取所述新子序列中每个元素的下标以组成对应的下标序列；计算每个所述子序列中所述评价指标的极差值，根据所述极差值得到对应所述子序列的极差等级标签；
让每个所述子序列对应的所述下标序列和所述极差等级标签组成二元组，获取所述二元组的种类数量，由所述种类数量和所述评价指标序列中的元素数量得到对应所述散点图的所述排列熵；
根据三个所述散点图的所述排列熵计算所述排列熵均值。
优选的，所述检测所述正视图像序列中每帧图像的手势类别的方法，包括：
根据左手和右手的包围框对所述正视图像序列中的每帧图像进行裁剪得到手部图像，所述手部图像包括左手图像和右手图像；由所述手部图像中手部凸包的形状特征得到对应每帧图像的所述手势类别。
优选的，所述获取每个所述历史时间段对应所述手势类别的手势特征序列的方法，包括：
提取所述历史时间段内每帧图像对应所述手部图像的Hu矩，将Hu矩作为对应帧图像的手势特征向量，由所述手势特征向量构成所述手势特征序列。
优选的，由每帧图像的眼睛区域得到每个所述历史时间段内动车司机的眨眼特征序列的方法，包括：
根据左眼和右眼的包围框对所述历史时间段内的每帧图像进行裁剪以得到眼睛图像，所述眼睛图像包括左眼图像和右眼图像；计算眼球区域和所述眼睛图像之间的面积比值得到眼睛的闭合程度，由所述历史时间段内每帧图像对应眼睛的所述闭合程度构成所述眨眼特征序列。
本发明实施例至少具有如下有益效果：通过动车司机在驾驶过程中的眨眼频率、不同特定手势的反应速度和正确性多维特征的变化趋势得到动车司机的驾驶状态检测结果，该结果考虑到了不同动车司机的驾驶习惯，从而确保疲劳检测结果的准确性，保证动车安全平稳的运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于机器视觉的动车司机疲劳驾驶检测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于机器视觉的动车司机疲劳驾驶检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于机器视觉的动车司机疲劳驾驶检测方法的具体方案。
本发明实施例所针对的具体场景为：对于特定动车线路，动车行驶过程中，对驾驶室内的动车司机的驾驶状态进行检测。
请参阅图1，其示出了本发明一个实施例提供的一种基于机器视觉的动车司机疲劳驾驶检测方法的步骤流程图，该方法包括以下步骤：
步骤S001，获取历史行驶过程中动车司机的正视图像序列；检测正视图像序列中每帧图像的手势类别，手势特别包括特定手势和非特定手势；根据手势类别将历史行驶过程分为多个历史时间段；获取每个历史时间段对应手势类别的手势特征序列；由每帧图像的眼睛区域得到每个历史时间段内动车司机的眨眼特征序列；根据每个特定手势的位置获取手势位置序列。
具体的，动车司机在驾驶动车的过程中，每遇到信号时，司机都要做出相应的手势并同时大喊一声，以提振精神。比如行车时遇到桥梁、弯道时，就需司机右手握拳举起，并且喊出“前方桥梁、注意安全”等等语句，以提醒自己，同时需要动车司机注意前方状况以确保可以及时处理突发情况。
在动车驾驶室的前方部署高清相机，可以采集到包括动车司机的面部和双手动作的正视图像。利用高清相机获取一次历史行驶过程中动车司机的正视图像序列，将正视图像序列中的每一帧图像送入目标检测网络，输出图像中左右手和左右眼包围框的中心点坐标和尺寸信息。其中，目标检测网络的训练集为高清相机采集的正视图像，人为的标注图像中手部和眼睛包围框的中心点坐标和宽高尺寸，得到标签数据；损失函数采用均方差损失函数，不断更新网络参数完成目标检测网络的训练过程。
优选的，本发明实施例中的目标检测网络为编码器-解码器结构的，实施者可以采用Center Net等现有的目标检测网络实现。
进一步地，根据左手和右手的包围框对正视图像序列中的每帧图像进行裁剪得到手部图像，手部图像包括左手图像和右手图像；由手部图像中手部凸包的形状特征得到对应每帧图像的手势类别，手势特别包括特定手势和非特定手势。以手势类别发生变化的时刻作为分段点，进而将历史行驶过程分为多个历史时间段。
需要说明的是，特定手势有多种，非特定手势整体称为一种。
提取历史时间段内每帧图像对应手部图像的Hu矩，将Hu矩作为对应帧图像的手势特征向量，由手势特征向量构成手势特征序列Z。其中，Hu矩可以很好反应凸包稳定的形状特征，且该形状特征具有方向、尺度的不变性。
同时，根据左眼和右眼的包围框对历史时间段内的每帧图像进行裁剪以得到眼睛图像，眼睛图像包括左眼图像和右眼图像；计算眼球区域和眼睛图像之间的面积比值得到眼睛的闭合程度，由历史时间段内每帧图像对应眼睛的闭合程度构成眨眼特征序列。
作为一个示例，将左眼图像和右眼图像转换为HSV颜色空间，并设定颜色阈值分割出两只眼睛的眼球区域，分别计算眼球区域的面积和对应左眼图像的面积或右眼图像的面积之间的比值，这两个比值可以反映眼睛的闭合程度。由于眼睛的闭合程度在时序上的变化可以反应眨眼频率，因此获取历史时间段内的每帧图像眼睛的闭合程度，以组成眨眼特征序列P。
动车司机作出手势的反应速度同样可以反应动车司机的驾驶状态，进一步获得特定动车路线上每一个手势的时间点。在特定动车路线上，每一次动车经过的路况基本相同，动车司机在做出特定手势时的位置也应该相同，故动车从始发站出发时，获得动车运行的实时速度以及运行时间t，计算每一个特定手势对应的动车行驶距离vt，进而获得每一个特定手势的位置信息，以得到历史行驶过程中手势位置序列w。
步骤S002，对于特定动车路线的多次历史行驶过程，由多个手势位置序列获取基准手势位置序列、根据相同特定手势对应的多个手势特征序列得到每个特定手势的基准手势特征序列；由所有历史时间段的眨眼特征序列得到基准眨眼特征序列。
具体的，利用步骤S001的方法获取同一个动车司机在特定动车路线上的多次历史行驶过程中的多个手势位置序列w，以及每一个历史时间段内的手势特征序列Z、眨眼特征序列P和对应的手势类别。
需要说明的是，是否打手势是有明确规定的，故动车在正常行驶的情况下手势位置序列的长度是恒定的。
进一步地，对于同一个动车司机在同一路线上的多次历史行驶过程中的状态信息，获取该动车司机没有疲劳驾驶的基准状态，则具体过程为：
(1)对多个手势位置序列w中对应相同特定手势的位置进行求均值，得到该动车司机在该特定动车路线上的基准手势位置序列
Figure BDA0003347959090000051
(2)根据每个历史时间段的手势类别对多个手势特征序列Z进行分类，将属于同一手势类别的手势特征序列Z归为一类，且将非特定手势的手势特征序列Z进行删除，进而得到n个集合，对应n种特定手势。
(3)对每种特定手势的集合进行分析，以特定手势k为例：由于特定手势k对应的手势特征序列Z的长度不相同，进而获取该集合内每个手势特征序列的长度l，统计不同长度的数量，将数量最多对应的长度作为特定手势k的序列平均长度lk；从集合中随机选择一个长度为lk的手势特征序列作为初始基准手势特征序列，调用DBA算法对初始基准手势特征序列进行更新得到特定手势k的基准手势特征序列
Figure BDA0003347959090000061
需要说明的是，DBA算法以初始基准手势特征序列作为标准，对特定手势k的集合内每一个手势特征序列进行更新，得到长度相同的新序列；对多个新序列取平均得到基准手势特征序列；不断迭代直到基准手势特征序列不再发生变化得到最优的基准手势特征序列。
(4)同理，对所有历史时间段的眨眼特征序列P利用步骤(3)的方法获取基准眨眼特征序列
Figure BDA0003347959090000062
(5)将基准手势位置序列
Figure BDA0003347959090000063
各种特定手势的基准手势特征序列
Figure BDA0003347959090000064
和基准眨眼特征序列
Figure BDA0003347959090000065
作为该动车司机的行为习惯特征序列。
步骤S003，在动车司机的实时行驶过程中，对采集的每帧实时正视图像进行手势类别检测以得到对应的实时时间段；分别计算每个特定手势对应的实时时间段内的实时手势特征序列和对应的基准手势特征序列之间的差异以得到手势评价指标、实时眨眼特征序列和基准眨眼特征序列之间的差异以得到眨眼频率评价指标、特定手势对应的实时手势位置和基准手势位置序列以得到手势反应速度指标。
具体的，在动车司机的实时行驶过程中，对采集的每帧实时正视图像进行实时手势类别检测，根据实时手势类别的不同得到不同的实时时间段。由于本发明实施例是针对特定手势的特征来分析动车司机的驾驶状态，因此对特定手势对应的实时时间段进行分析：
(1)以第c个特定手势对应的实时时间段为例，获得该时间段的起始时间tj，则第c个特定手势在特定动车路线上的实时手势位置
Figure BDA0003347959090000066
其中，t0为动车从始发站的发车时间；利用步骤S001的方法获取第c个特定手势对应实时时间段内的实时手势特征序列Zc′和实时眨眼特征序列Pc′。
(2)根据实时行驶过程中动车司机的身份信息确定其对应的行为习惯特征序列。计算第c个特定手势的实时手势位置wc′与基准手势位置序列
Figure BDA0003347959090000067
中的第c个元素之间的差异，进而得到动车司机的手势反应速度指标
Figure BDA0003347959090000068
手势反应速度指标γ1c反应实时行驶过程中做出第c个特定手势的位置与标准手势位置之间的差异，差异越小则表示动车司机的手势反应速度越接近标准要求，且司机驾驶状态越好；计算实时眨眼特征序列Pc′与基准眨眼特征序列
Figure BDA0003347959090000071
之间的相似度，得到眨眼频率评价指标
Figure BDA0003347959090000072
其中，DTW为动态时间规整算法，用于获得两时间序列的欧氏距离；计算实时手势特征序列Zc′与其对应的基准手势特征序列
Figure BDA0003347959090000073
之间的相似度得到手势评价指标
Figure BDA0003347959090000074
需要说明的是，当司机驾驶状态良好时，实时时间段内三个评价指标均接近1，随着司机驾驶时间越来越长，当司机出现疲劳驾驶的情况时，不同特征的评价指标均会下降。
步骤S004，基于手势评价指标、眨眼频率评价指标和手势反应速度指标计算每个特定手势对应实时时间段的疲劳驾驶检测结果。
具体的，利用步骤S003的方法可以获得特定手势对应的每个实时时间段内动车司机的手势评价指标、眨眼频率评价指标和手势反应速度指标，计算特定手势对应的每个实时时间段内手势评价指标、眨眼频率评价指标和手势反应速度指标之间的均值。
作为一个示例，对于第c个特定手势对应的实时时间段内的均值为
Figure BDA0003347959090000075
由于在动车司机进入驾驶仓前均要进行身体状况的检测，故起始时间疲劳驾驶的可能很低，仅根据评价指标即可得到准确的疲劳驾驶检测结果，因此将第一个特定手势和第二个特定手势对应的实时时间段的均值作为其疲劳驾驶检测结果，即μ1c＝Scorec，c≤2，且将剩余特定手势对应的实时时间段的均值作为其疲劳驾驶测量值。
进一步地，在实时行驶过程中获取每个剩余特定手势对应实时时间段的评价指标以及之前所有特定手势对应实时时间段的评价指标，将所有的评价指标进行分类：眨眼频率评价指标、手势评价指标以及手势反应速度指标共3类，将每一个类别的评价指标按照采集的先后时间为横坐标，评价指标的数值为纵坐标，构建3个散点图，且每一个散点图对应一种类别特征。进而基于每个散点图对应评价指标的变化得到每个剩余特定手势对应实时时间段的疲劳驾驶预测值，具体过程为：
(1)对于每个剩余特定手势对应实时时间段的三个散点图，分别拟合每个散点图中散点的直线以得到直线斜率；由直线斜率计算平均斜率，将平均斜率作为动车司机的疲劳驾驶平均趋势；由直线斜率获取疲劳驾驶平均趋势的置信度。
具体的，随着采集到的评价指标数量越来越多，司机驾驶的时间越来越长，动车司机出现疲劳驾驶的概率越来越大，当采集到3张散点图中的每一张散点的数量均大于3时，根据散点图得到每一类特征的评价指标的变化趋势，以第s个剩余特定手势对应的实时时间段为例：利用最小二乘法对每个散点图中的散点进行直线拟合，得到形如y＝kx+b的直线方程，其中斜率k的数值可以反应评价指标的变化趋势，k＝0表示司机的评价指标保持稳定，当k＜0时表示评价指标下降，司机有疲劳驾驶的趋势，进而能够得到第s个剩余特定手势对应的实时时间段内三个散点图的三个直线斜率。
考虑到单一的特征存在误检，因此构建图结构以根据不同类别特征的疲劳驾驶趋势的相关性获得综合趋势：以每个直线斜率为节点、两两节点之间连成一条边得到图结构，且图结构的边权为1，首先由三个节点对应的直线斜率计算平均斜率
Figure BDA0003347959090000081
其中kA为第A个节点对应的直线斜率，进而将平均斜率
Figure BDA0003347959090000082
作为动车司机的疲劳驾驶平均趋势；然后获取图结构的总变差
Figure BDA0003347959090000083
其中e表示图结构中所有的边，A，B表示边上的两个节点，Nume为边的数量，总变差TV反应了两两类别特征的疲劳驾驶趋势之间的差异性，当总变差TV接近于0时，表示不同特征类别的疲劳驾驶趋势接近，疲劳驾驶平均趋势
Figure BDA0003347959090000085
越接近真实值，故，总变差TV可以反应疲劳驾驶平均趋势
Figure BDA0003347959090000084
的置信度。
(2)基于排列熵算法计算每个散点图的排列熵以得到排列熵均值。
a.将散点图中的评价指标组成评价指标序列，根据设定的嵌入维度和时间延迟对评价指标序列进行采样得到多个与嵌入维度相等长度的子序列。
具体的，以眨眼频率评价指标对应的散点图为例，根据该散点图中对应的多个眨眼频率评价指标组成评价指标序列，设定嵌入维度m，时间延迟L对评价指标序列进行采样，得到多个m维的子序列，其中，第δ个子序列为X(δ)＝[γ(δ)，γ(δ+1L)，...，γ(δ+(m-1)L)]，γ(δ)为评价指标序列中第δ个眨眼频率评价指标；γ(δ+1L)为评价指标序列中第δ+1L个眨眼频率评价指标；γ(δ+(m-1)L)为评价指标序列中第δ+(m-1)个眨眼频率评价指标，进而将(m-1)作为γ(δ+(m-1)L)的下标，同理可以得到第δ个子序列中每个眨眼频率评价指标对应的下标为[0，1，…，(m-1)]。
优选的，本发明实施例中取m＝3，L＝1。
b.将每个子序列中的元素按照数值进行从大到小的重新排序得到新子序列，获取新子序列中每个元素的下标以组成对应的下标序列，进而得到每个新子序列的下标序列E(δ)。
c.计算每个子序列中对应评价指标的极差值，根据极差值得到对应子序列的极差等级标签；让每个子序列对应的下标序列和极差等级标签组成二元组，获取二元组的种类数量，由种类数量和评价指标序列中的元素数量得到对应散点图的排列熵。
具体的，获取子序列中的极差值R以反应子序列中每个元素值的变化大小，则对于子序列X(δ)的极差值R(δ)的计算公式如下：R(δ)＝max(X(δ))-min(X(δ))，由于评价指标的取值范围为[0，1]，故R(δ)的取值范围同样为[0，1]，每隔0.2划分为一个等级，数值越大等级越高，进而得到子序列X(δ)的极差等级标签B(δ)。
每一个子序列对应一个下标序列和一个极差等级标签的二元组，记为(B，E)。由于极差等级B对应5个不同等级的类别标签，下标序列E对应m！种排列方式，则二元组(B，E)的总类别数为5×m！种，则眨眼频率评价指标对应的散点图的排列熵ρ为：
Figure BDA0003347959090000091
其中，Num((B，E)g)为第g种二元组，Num((B，E)g)为第g种二元组的种类数量；N为评价指标序列中的元素数量；动车司机的评价指标波动性越大则对应的排列熵ρ越大。
d.根据三个散点图的排列熵计算排列熵均值。
具体的，利用步骤a-c的方法，能够分别获取第s个剩余特定手势对应的实时时间段内3类评价指标所对应散点图的排列熵，进而对3个排列熵求均值得到排列熵均值
Figure BDA0003347959090000092
(3)结合疲劳驾驶测量值和疲劳驾驶预测值得到每个剩余特定手势对应的实时时间段的疲劳驾驶检测结果。
具体的，第s个剩余特定手势对应的实时时间段的疲劳驾驶预测值为：
Figure BDA0003347959090000093
其中，μ2s为第s个剩余特定手势对应的实时时间段的疲劳驾驶预测值；Scores-1为第s-1个特定手势对应实时时间段的疲劳驾驶检测结果；W1为疲劳驾驶预测值的权重；s表示特定手势的顺序数值。
需要说明的是，权重W1可以反应预测值的置信度，根据先验，历史数据越多，则预测值的置信度越高，故W1的计算公式为：
W1＝1-exp(-s+3)，s≥3
进一步地，结合疲劳驾驶测量值和疲劳驾驶预测值得到每个剩余特定手势对应的实时时间段的疲劳驾驶检测结果，则计算公式为：
Scores＝μ2s+W2*μ1s
其中，Scores为第s个剩余特定手势对应的实时时间段的疲劳驾驶检测结果；μ1s为第s个剩余特定手势对应的实时时间段的疲劳驾驶测量值；W2为疲劳驾驶测量值的权重，且W1+W2＝1。
将每个特定手势对应的实时时间段的疲劳驾驶检测结果与经验阈值Score0比较，当Scores＜Score0时表示动车司机为疲劳驾驶，对司机进行提醒并在下一个站点更换司机。
需要说明的是，经验阈值应为一较大值，本发明实施例中取值为Score0＝0.6，实施者可根据实际情况进行更改。
综上所述，本发明实施例提供了一种基于机器视觉的动车实际疲劳驾驶检测方法，该方法获取一次历史行驶过程中采集的图像数据，以分析获取动车司机的历史状态数据；基于多次历史行驶过程，获取动车司机的基准状态数据；根据动车司机实时行驶过程中得到状态数据与基准状态数据之间的差异实时检测动车司机的疲劳驾驶检测结果。根据司机的驾驶习惯对动车司机的驾驶状态进行实时检测，从而确保疲劳检测结果的准确性，保证动车安全平稳的运行。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的动车司机疲劳驾驶检测方法，其特征在于，该方法包括：
获取历史行驶过程中动车司机的正视图像序列；检测所述正视图像序列中每帧图像的手势类别，所述手势特别包括所述特定手势和非特定手势；根据所述手势类别将所述历史行驶过程分为多个历史时间段；获取每个所述历史时间段对应所述手势类别的手势特征序列；由每帧图像的眼睛区域得到每个所述历史时间段内动车司机的眨眼特征序列；根据每个所述特定手势的位置获取手势位置序列；
对于特定动车路线的多次所述历史行驶过程，由多个所述手势位置序列获取基准手势位置序列、根据相同所述特定手势对应的多个所述手势特征序列得到每个所述特定手势的基准手势特征序列；由所有所述历史时间段的所述眨眼特征序列得到基准眨眼特征序列；
在动车司机的实时行驶过程中，对采集的每帧实时正视图像进行所述手势类别检测以得到对应的实时时间段；分别计算每个所述特定手势对应的实时时间段内的实时手势特征序列和对应的所述基准手势特征序列之间的差异以得到手势评价指标、实时眨眼特征序列和所述基准眨眼特征序列之间的差异以得到眨眼频率评价指标、所述特定手势对应的实时手势位置和所述基准手势位置序列以得到手势反应速度指标；
基于所述手势评价指标、所述眨眼频率评价指标和所述手势反应速度指标计算每个所述特定手势对应实时时间段的疲劳驾驶检测结果。
2.如权利要求1所述的方法，其特征在于，所述基于所述手势评价指标、所述眨眼频率评价指标和所述手势反应速度指标计算每个所述特定手势对应实时时间段的疲劳驾驶检测结果的方法，包括：
计算所述特定手势对应的每个实时时间段内所述手势评价指标、所述眨眼频率评价指标和所述手势反应速度指标之间的均值，将第一个所述特定手势和第二个所述特定手势对应的实时时间段的所述均值作为其所述疲劳驾驶检测结果、将剩余特定手势对应的实时时间段的所述均值作为其疲劳驾驶测量值；
分别获取每个剩余特定手势对应实时时间段的评价指标及其之前所有所述特定手势对应的评价指标，评价指标包括三个类别：所述眨眼频率评价指标、所述手势评价指标以及所述手势反应速度指标；将每一个类别的评价指标按照采集的先后时间为横坐标、评价指标的数值为纵坐标，分别构建三个散点图，基于每个所述散点图对应评价指标的变化得到每个剩余特定手势对应实时时间段的疲劳驾驶预测值；
结合所述疲劳驾驶测量值和所述疲劳驾驶预测值得到每个剩余特定手势对应的实时时间段的所述疲劳驾驶检测结果。
3.如权利要求2所述的方法，其特征在于，所述基于每个所述散点图对应评价指标的变化得到每个剩余特定手势对应实时时间段的疲劳驾驶预测值的方法，包括：
对于每个剩余特定手势对应实时时间段的三个所述散点图，分别拟合每个所述散点图中散点的直线以得到直线斜率；由所述直线斜率计算平均斜率，将所述平均斜率作为所述动车司机的疲劳驾驶平均趋势；由所述直线斜率获取所述疲劳驾驶平均趋势的置信度；
基于排列熵算法计算每个所述散点图的排列熵以得到排列熵均值；结合所述疲劳驾驶平均趋势、所述置信度和所述排列熵均值得到每个剩余特定手势对应实时时间段的所述疲劳驾驶预测值。
4.如权利要求3所述的方法，其特征在于，所述由所述直线斜率获取所述疲劳驾驶平均趋势的置信度的方法，包括：
以每个所述直线斜率为节点、两两节点之间连成一条边得到图结构，根据所述图结构中每条边对应所述直线斜率之间的差异得到所述置信度。
5.如权要求3所述的方法，其特征在于，所述基于排列熵算法计算每个所述散点图的排列熵以得到排列熵均值的方法，包括：
将所述散点图中的所述评价指标组成评价指标序列，根据设定的嵌入维度和时间延迟对所述评价指标序列进行采样得到多个与所述嵌入维度相等长度的子序列；
将所述子序列中的元素按照数值递增进行重新排序得到新子序列，获取所述新子序列中每个元素的下标以组成对应的下标序列；计算每个所述子序列中所述评价指标的极差值，根据所述极差值得到对应所述子序列的极差等级标签；
让每个所述子序列对应的所述下标序列和所述极差等级标签组成二元组，获取所述二元组的种类数量，由所述种类数量和所述评价指标序列中的元素数量得到对应所述散点图的所述排列熵；
根据三个所述散点图的所述排列熵计算所述排列熵均值。
6.如权利要求1所述的方法，其特征在于，所述检测所述正视图像序列中每帧图像的手势类别的方法，包括：
根据左手和右手的包围框对所述正视图像序列中的每帧图像进行裁剪得到手部图像，所述手部图像包括左手图像和右手图像；由所述手部图像中手部凸包的形状特征得到对应每帧图像的所述手势类别。
7.如权利要求6所述的方法，其特征在于，所述获取每个所述历史时间段对应所述手势类别的手势特征序列的方法，包括：
提取所述历史时间段内每帧图像对应所述手部图像的Hu矩，将Hu矩作为对应帧图像的手势特征向量，由所述手势特征向量构成所述手势特征序列。
8.如权利要求1所述的方法，其特征在于，由每帧图像的眼睛区域得到每个所述历史时间段内动车司机的眨眼特征序列的方法，包括：
根据左眼和右眼的包围框对所述历史时间段内的每帧图像进行裁剪以得到眼睛图像，所述眼睛图像包括左眼图像和右眼图像；计算眼球区域和所述眼睛图像之间的面积比值得到眼睛的闭合程度，由所述历史时间段内每帧图像对应眼睛的所述闭合程度构成所述眨眼特征序列。
CN202111328955.6A 2021-11-10 2021-11-10 一种基于机器视觉的动车司机疲劳驾驶检测方法 Withdrawn CN113936336A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111328955.6A CN113936336A (zh) 2021-11-10 2021-11-10 一种基于机器视觉的动车司机疲劳驾驶检测方法
ZA2022/03301A ZA202203301B (en) 2021-11-10 2022-03-22 Method for detecting driving state of motor train driver based on machine vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111328955.6A CN113936336A (zh) 2021-11-10 2021-11-10 一种基于机器视觉的动车司机疲劳驾驶检测方法

Publications (1)

Publication Number Publication Date
CN113936336A true CN113936336A (zh) 2022-01-14

Family

ID=79286430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111328955.6A Withdrawn CN113936336A (zh) 2021-11-10 2021-11-10 一种基于机器视觉的动车司机疲劳驾驶检测方法

Country Status (2)

Country Link
CN (1) CN113936336A (zh)
ZA (1) ZA202203301B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114582090A (zh) * 2022-02-27 2022-06-03 武汉铁路职业技术学院 一种轨道车辆驾驶监测预警系统
CN116910452A (zh) * 2023-07-21 2023-10-20 郑州铁路职业技术学院 基于大数据的有害垃圾无菌化处理风险预测评估方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114582090A (zh) * 2022-02-27 2022-06-03 武汉铁路职业技术学院 一种轨道车辆驾驶监测预警系统
CN116910452A (zh) * 2023-07-21 2023-10-20 郑州铁路职业技术学院 基于大数据的有害垃圾无菌化处理风险预测评估方法
CN116910452B (zh) * 2023-07-21 2024-04-26 郑州铁路职业技术学院 基于大数据的有害垃圾无菌化处理风险预测评估方法

Also Published As

Publication number Publication date
ZA202203301B (en) 2022-06-29

Similar Documents

Publication Publication Date Title
US9965719B2 (en) Subcategory-aware convolutional neural networks for object detection
US20190244062A1 (en) Gesture recognition method, gesture recognition system, and performing device therefore
CN108389220B (zh) 遥感视频图像运动目标实时智能感知方法及其装置
CN113936336A (zh) 一种基于机器视觉的动车司机疲劳驾驶检测方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN104424634A (zh) 对象跟踪方法和装置
CN109910819B (zh) 一种车内环境设置方法、装置、可读存储介质及终端设备
CN104850865A (zh) 一种多特征迁移学习的实时压缩跟踪方法
CN105243376A (zh) 一种活体检测方法和装置
Abtahi et al. A yawning measurement method using embedded smart cameras
KR102638370B1 (ko) 오브젝트 디텍터를 위한 베이시안 듀얼 오토엔코더를 이용한 익스플레이너블 액티브 러닝 방법 및 이를 이용한 액티브 러닝 디바이스
JP2021528757A (ja) 機械学習モデルの出力から推論されるインスタンスセグメンテーション
CN113327272A (zh) 一种基于相关滤波的鲁棒性长时跟踪方法
CN113486902A (zh) 基于元学习的三维点云分类算法自动选择方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN105975982B (zh) 一种前方车辆检测方法
CN111814653B (zh) 一种视频中异常行为的检测方法、装置、设备及存储介质
KR20200023670A (ko) 클러스터 레이더와 3차원 컨볼루션 신경망을 이용한 제스처 및 지문자 인식 장치 및 방법
EP3627391A1 (en) Deep neural net for localising objects in images, methods for preparing such a neural net and for localising objects in images, corresponding computer program product, and corresponding computer-readable medium
Gabb et al. Efficient monocular vehicle orientation estimation using a tree-based classifier
CN115620051A (zh) 基于改进YOLOv5模型的大分辨率图像目标检测方法及系统
Sathya et al. Framework for traffic personnel gesture recognition
JP7006724B2 (ja) 分類装置、分類方法、及び、プログラム
JP2016062249A (ja) 識別辞書学習システム、認識辞書学習方法および認識辞書学習プログラム
JP7172968B2 (ja) 運転分析装置、及び運転分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220114

WW01 Invention patent application withdrawn after publication