CN111832446A - 一种基于双视角视频数据的驾驶员姿态识别方法 - Google Patents
一种基于双视角视频数据的驾驶员姿态识别方法 Download PDFInfo
- Publication number
- CN111832446A CN111832446A CN202010608561.5A CN202010608561A CN111832446A CN 111832446 A CN111832446 A CN 111832446A CN 202010608561 A CN202010608561 A CN 202010608561A CN 111832446 A CN111832446 A CN 111832446A
- Authority
- CN
- China
- Prior art keywords
- view
- state quantity
- driving
- double
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双视角视频数据的驾驶员姿态识别方法,包括如下步骤:使用双视角摄像头采集驾驶员驾驶视频数据;基于Python‑OpenCV库将视频数据转化为图片数据;将驾驶动作进行分解,提取视线偏移状态量V、持续性状态量C和短暂性状态量T,并形成标签化的双视角图像数据集;构建小型卷积神经网络识别视线偏移量V;构建多输出轻型卷积神经网络识别短暂型状态量C和持续型状态量T;构建联合识别网络,实现驾驶姿态识别;分析驾驶状态在时间轴上的排列,实现驾驶动作的识别。本发明采用双视角数据集,弥补了单视角数据信息损失的固有缺陷;通过构建模型识别驾驶姿态,并基于驾驶状态在时间轴上的排列,识别驾驶动作,模型实时性和精度均很好。
Description
技术领域
本发明涉及一种驾驶员姿态识别方法,尤其涉及一种基于双视角视频数据的驾驶员姿态识别方法。
背景技术
世界卫生组织《道路安全全球现状报告2015》指出道路交通事故为全球人口死亡的主要因素,世界上每天大约有3500人因道路交通碰撞而死亡,改善交通安全成为各国目前工作中的首要任务之一。
研究者普遍认为交通事故的发生多数由驾驶员错误驾驶行为导致,这些错误行为中以疲劳驾驶、超速、错误驾驶姿态居多。不良的驾驶姿态会严重影响驾驶员的感知、判断以及对突发状况的应急反应能力。所以,对驾驶员姿态的准确及时的识别检测并给予适时地提醒对保障驾驶安全有重大意义。
现阶段,随着计算机视觉和机器学习的兴起,图像识别技术不断发展,针对驾驶姿态的检测,研究者构建了如kaggle、SEU等驾驶姿态数据集,从单视角对驾驶员的姿态信息进行采集,但单视角数据存在维度信息丢失问题,即单张图片难以完成表达驾驶姿态信息,而这会导致姿态检测类别受限以及检测精度不高等问题。
发明内容
发明目的:本发明的目的为提供一种提高模型识别精度、实现驾驶动作的识别的基于双视角视频数据的驾驶员姿态识别方法。
技术方案:本发明的基于双视角视频数据的驾驶员姿态识别方法,包括以下步骤:
(1)使用双视角摄像头采集驾驶员驾驶视频数据;
(2)基于Python-OpenCV库将视频数据转化为图片数据,并基于时间轴进行双视角图像数据匹配,形成双视角图像数据;
(3)将驾驶动作进行分解,提取视线偏移状态量V、持续性状态量C和短暂性状态量T,对双视角图像进行标签化处理,通过叠加状态量实现驾驶动作识别,并对图像冗余数据进行剪切和压缩,形成双视角图片数据集;
(4)剪切冗余数据的单视角图像,构建小型卷积神经网络识别视线偏移量V;
(5)基于网络轻型化技术,构建多输出轻型卷积神经网络识别短暂型状态量C和持续型状态量T;
(6)联合步骤(4)和(5)中的模型,构建联合识别网络模型,综合驾驶状态量,实现驾驶姿态识别;
(7)分析驾驶状态在时间轴上的排列,实现驾驶动作的识别。
基于营运车辆驾驶员驾驶动作识别系统小型化、实时性和高精度的需求,使用剪除了冗余数据的单视角图像,构建小型卷积神经网络识别视线偏移量V。
进一步地,步骤(1)具体包括如下步骤:
(a)根据车型及驾驶舱环境确定双视角摄像头固定位置,确保两个视角覆盖驾驶员上半身区域,确保观察到手部和头部的运动状态;
(b)采集驾驶员的双视角驾驶视频数据。
步骤(2)具体包括如下步骤:
(a)利用OpenCV库,基于python程序语言,将视频数据转换为图片数据;
(b)将图片数据根据时间轴按顺序一一匹配,获得双视角图像数据。
步骤(3)具体包括如下步骤:
(a)将驾驶员动作进行分解,提取视线偏移状态量V、持续性状态量C和短暂性状态量T,通过三个状态量的叠加组合,实现驾驶动作的描述;
(b)根据三个状态量,对双视角图像进行标签化处理,形成标签化的双视角图像数据集;
(c)对标签化的双视角图像进行冗余数据剪切和压缩,形成双视角图像数据集,双视角图像数据集包括短暂和持续型状态量数据集及视线偏移数据集。
步骤(4)具体包括如下步骤:
(a)对视线偏移数据集作进行裁剪,仅保留涉及头部信息的关键区域信息,得到视线偏移数据集;
(b)使用小型卷积神经网络模型实现视线偏移检测;
(c)随机选取视线偏移数据集的1%-30%为测试集,剩余70%-99%的数据集为训练集,对模型进行训练,实现视线偏移量V的输出。
步骤(5)具体包括如下步骤:
(a)分析(1×1)卷积、深度可分离卷积和非对称卷积,提出宽视野单元Block_A1、宽视野单元Block_A2和深视野单元Block_B结构,基于轻型化策略构建多任务网络模型;
(b)选用短暂和持续型状态量数据集进行模型训练,实现持续型状态量C和短暂型状态量T的识别。
步骤(6)具体包括如下步骤:
(a)将步骤(4)和(5)中的两个模型进行联合,设计联合识别模型;
(b)将输出的视线偏移状态量V、持续性状态量C和短暂性状态量T三个状态量识别结果,进行组合叠加分析,实现驾驶姿态识别。
步骤(7)具体包括如下步骤:
系统每秒识别g张图片,连续识别T秒,若某一状态量连续出现超过ti秒,则认为出现了该状态量对应的动作量,其中,g为超参数,表示从每秒从视频中提取的图片张数,小于视频的每秒帧数;t为状态i对应的判别阈值,即T时间内容,动作i持续出现超过ti秒,则表示出现了该状态量对应的动作量。
采用双视角视频数据,弥补了单视角数据信息缺失的固有缺陷,提高模型识别精度和增加可识别的状态类别。分析一系列轻型化技术:将视频转换为图片数据、使用(1×1)卷积技术、深度可分离卷积技术等;基于轻型化技术,制定网络识别模型轻型化策略,搭建轻型化卷积神经网络模型识别驾驶姿态;最后,通过分析驾驶状态在时间轴上的排列,实现驾驶动作的识别,为促进驾驶员正确驾驶,提升道路安全奠定基础。
有益效果:与现有技术相比,本发明具有如下显著优点:使用双视角图像数据,能够识别更多类型的驾驶姿态,并提高模型识别精度;同时通过分析驾驶状态在时间轴上的排列,实现驾驶动作的识别,为实时对驾驶员的错误驾驶行为进行警示提供基础,对提升道路安全有重要价值。
附图说明
图1为驾驶员姿态信息关键区域;
图2为视角点示意图;
图3为驾驶姿态类别总集图;
图4为视线偏移模型卷积神经网络结构图;
图5为宽视野单元Block_A1、宽视野单元Block_A2、深视野单元Block_B网络图;
图6为多任务网络结构示意图;
图7为联合识别网络模型结构物;
图8为本发明的方法流程图。
具体实施方式
下面结合附图和具体实施案例对本发明的技术方案作进一步说明。
如图8所示,本发明的基于双视角视频数据的驾驶员姿态识别方法,包括如下主要步骤:
步骤1:使用双视角摄像头采集驾驶员驾驶视频数据。
(a)根据车型及驾驶舱环境确定两个视角固定位置,如图1所示,确保两个视角尽可能覆盖驾驶员上半身区域,确保可清晰观察手部和头部的运动状态,即覆盖包含驾驶姿态信息的“关键区域”,信息关键区域如图2所示;
(b)采集驾驶员的双视角驾驶视频数据。
步骤2:基于Python-OpenCV库将视频数据进行处理,转化为图片数据,并基于时间轴进行双视角图像数据匹配,形成双视角图像数据;
(a)利用OpenCV库,基于python程序语言,将视频数据转换为图片数据;
(b)将图片数据根据时间轴按顺序一一匹配,获得双视角图像数据。
步骤3:将驾驶动作进行分解,提取视线偏移状态量V、持续性状态量C和短暂性状态量T,对双视角图像进行标签化处理,通过叠加状态量实现驾驶动作识别,并对图像冗余数据进行剪切和压缩,形成双视角图片数据集;
(a)将驾驶员动作进行分解,提取三类状态量:视线偏移状态量V、持续性状态量C和短暂性状态量T,状态量描述如表1所示,通过三个量的叠加组合,实现驾驶动作的描述,如图3所示;
表1状态量描述
(b)根据三个状态量,对双视角图像数据集进行标签化处理,形成标签化的双视角图像数据,命名为SEU-HJSRG数据集,包括短暂和持续型状态量数据集、视线偏移数据,具体统计如表2所示。
表2 SEU-HJSRG数据集统计表
步骤4:剪切冗余数据的单视角图像,构建小型卷积神经网络识别视线偏移量V。
(a)对视线偏移数据集作进行裁剪,仅保留涉及头部信息的关键区域信息,得到视线偏移数据集;
(b)构建小型卷积神经网络模型,如图4所示,实现视线偏移检测;
(c)随机选取全数据集的20%为测试集,剩余80%为训练集,对模型进行训练,实现视线偏移状态量V的输出。模型评价如表3所示。
表3视线偏移模型评价指标表
步骤5:基于网络轻型化技术,构建多输出轻型卷积神经网络识别短暂型状态量C和持续型状态量T;
(a)分析(1×1)卷积、深度可分离卷积和非对称卷积,提出宽视野单元Block_A1、宽视野单元Block_A2和深视野单元Block_B结构,如图5所示。基于轻型化策略构建多任务网络模型,如图6所示;
(b)选用短暂和持续型状态量数据集进行模型训练,包括3个持续型状态量类别和6个短暂型状态量类别,实现持续型状态量C和短暂型状态量T的识别。模型评价如表4所示。
表4多任务网络模型评价指标表
步骤6:联合步骤(4)(5)中的模型,构建联合识别网络模型,综合驾驶状态量,实现驾驶姿态识别。
(a)将步骤(4)和(5)中的两个模型进行联合,设计联合识别模型,网络如图7所示;
(b)将输出的视线偏移状态量V、持续性状态量C和短暂性状态量T三个状态量识别结果,进行组合叠加分析,实现驾驶姿态识别。
步骤7:分析驾驶状态在时间轴上的排列,实现驾驶动作的识别。
驾驶动作作为时间轴上的驾驶状态叠加,则驾驶姿态的持续出现,可认为是出现了某种驾驶动作,通过检测连续时间轴上出现驾驶姿态的次序和连续性,即对于状态i,若该状态持续超过ti秒,则表示驾驶员正在进行该动作,即若系统每秒识别g张图片,连续识别T秒,若某一状态量连续出现超过ti秒,则认为出现了该状态量对应的动作量。
其中:
i——11类驾驶状态,包括2个视线偏移状态量,3个持续型状态量类别和6个短暂型状态量类别
g——超参数,表示从每秒从视频中提取的图片张数,小于视频的每秒帧数;
ti——状态i对应的判别阈值,即T时间内容,动作i持续出现超过ti秒,则表示出现了该状态量对应的动作量。
不同动作对于不同驾驶员来说,其持续时间、危险程度等都不相同,通过分析驾驶员的过往驾驶习惯,确定该驾驶员的个性化ti值,同时也可通过减小ti值以提高系统对危险动作的灵敏度,增大ti值以降低系统对危险动作的灵敏度。
某驾驶员T值示例如表5所示。
表5某驾驶员T值示例
Claims (8)
1.一种基于双视角视频数据的驾驶员姿态识别方法,其特征在于,包括以下步骤:
(1)使用双视角摄像头采集驾驶员驾驶视频数据;
(2)基于Python-OpenCV库将所述视频数据转化为图片数据,并基于时间轴进行双视角图像数据匹配,形成双视角图像数据;
(3)将驾驶动作进行分解,提取视线偏移状态量V、持续性状态量C和短暂性状态量T,对双视角图像进行标签化处理,通过叠加状态量实现驾驶动作识别,并对图像冗余数据进行剪切和压缩,形成双视角图片数据集;
(4)剪切冗余数据的单视角图像,构建小型卷积神经网络识别视线偏移量V;
(5)基于网络轻型化技术,构建多输出轻型卷积神经网络识别短暂型状态量C和持续型状态量T;
(6)联合步骤(4)和(5)中的模型,构建联合识别网络模型,综合驾驶状态量,实现驾驶姿态识别;
(7)分析驾驶状态在时间轴上的排列,实现驾驶动作的识别。
2.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法,其特征在于,步骤(1)具体包括如下步骤:
(a)根据车型及驾驶舱环境确定双视角摄像头固定位置,确保两个视角覆盖驾驶员上半身区域,确保观察到手部和头部的运动状态;
(b)采集驾驶员的双视角驾驶视频数据。
3.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法,其特征在于,步骤(2)具体包括如下步骤:
(a)利用OpenCV库,基于python程序语言,将视频数据转换为图片数据;
(b)将所述图片数据根据时间轴按顺序一一匹配,获得双视角图像数据。
4.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法,其特征在于,步骤(3)具体包括如下步骤:
(a)将驾驶员动作进行分解,提取视线偏移状态量V、持续性状态量C和短暂性状态量T,通过三个状态量的叠加组合,实现驾驶动作的描述;
(b)根据所述三个状态量,对双视角图像进行标签化处理,形成标签化的双视角图像数据集;
(c)对所述标签化的双视角图像进行冗余数据剪切和压缩,形成双视角图像数据集,所述双视角图像数据集包括短暂和持续型状态量数据集及视线偏移数据集。
5.根据权利要求1或4所述的基于双视角视频数据的驾驶员姿态识别方法,其特征在于,步骤(4)具体包括如下步骤:
(a)对视线偏移数据集作进行裁剪,仅保留涉及头部信息的关键区域信息,得到视线偏移数据集;
(b)使用小型卷积神经网络模型实现视线偏移检测;
(c)随机选取所述视线偏移数据集的1%-30%为测试集,剩余70%-99%的数据集为训练集,对模型进行训练,实现视线偏移量V的输出。
6.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法,其特征在于,步骤(5)具体包括如下步骤:
(a)分析(1×1)卷积、深度可分离卷积和非对称卷积,提出宽视野单元Block_A1、宽视野单元Block_A2和深视野单元Block_B结构,基于轻型化策略构建多任务网络模型;
(b)选用短暂和持续型状态量数据集进行模型训练,实现持续型状态量C和短暂型状态量T的识别。
7.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法,其特征在于,步骤(6)具体包括如下步骤:
(a)将步骤(4)和(5)中的两个模型进行联合,设计联合识别模型;
(b)将输出的视线偏移状态量V、持续性状态量C和短暂性状态量T三个状态量识别结果,进行组合叠加分析,实现驾驶姿态识别。
8.根据权利要求1所述的基于双视角视频数据的驾驶员姿态识别方法,其特征在于,步骤(7)具体包括如下步骤:
系统每秒识别g张图片,连续识别T秒,若某一状态量连续出现超过ti秒,则认为出现了该状态量对应的动作量,其中,g为超参数,表示从每秒从视频中提取的图片张数,小于视频的每秒帧数;t为状态i对应的判别阈值,即T时间内容,动作i持续出现超过ti秒,则表示出现了该状态量对应的动作量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010608561.5A CN111832446B (zh) | 2020-06-30 | 2020-06-30 | 一种基于双视角视频数据的驾驶员姿态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010608561.5A CN111832446B (zh) | 2020-06-30 | 2020-06-30 | 一种基于双视角视频数据的驾驶员姿态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111832446A true CN111832446A (zh) | 2020-10-27 |
CN111832446B CN111832446B (zh) | 2022-11-08 |
Family
ID=72899484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010608561.5A Active CN111832446B (zh) | 2020-06-30 | 2020-06-30 | 一种基于双视角视频数据的驾驶员姿态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111832446B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113628239A (zh) * | 2021-08-16 | 2021-11-09 | 百度在线网络技术(北京)有限公司 | 显示优化方法、相关装置及计算机程序产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108345869A (zh) * | 2018-03-09 | 2018-07-31 | 南京理工大学 | 基于深度图像和虚拟数据的驾驶人姿态识别方法 |
CN109977786A (zh) * | 2019-03-01 | 2019-07-05 | 东南大学 | 一种基于视频及肤色区域距离的驾驶员姿态检测方法 |
CN110532878A (zh) * | 2019-07-26 | 2019-12-03 | 中山大学 | 一种基于轻量化卷积神经网络的驾驶员行为识别方法 |
-
2020
- 2020-06-30 CN CN202010608561.5A patent/CN111832446B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108345869A (zh) * | 2018-03-09 | 2018-07-31 | 南京理工大学 | 基于深度图像和虚拟数据的驾驶人姿态识别方法 |
CN109977786A (zh) * | 2019-03-01 | 2019-07-05 | 东南大学 | 一种基于视频及肤色区域距离的驾驶员姿态检测方法 |
CN110532878A (zh) * | 2019-07-26 | 2019-12-03 | 中山大学 | 一种基于轻量化卷积神经网络的驾驶员行为识别方法 |
Non-Patent Citations (2)
Title |
---|
董小明等: "基于深度学习的驾驶员状态识别", 《汽车实用技术》 * |
赵维等: "多角度视频的驾驶人员行为识别", 《吉林大学学报(信息科学版)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113628239A (zh) * | 2021-08-16 | 2021-11-09 | 百度在线网络技术(北京)有限公司 | 显示优化方法、相关装置及计算机程序产品 |
CN113628239B (zh) * | 2021-08-16 | 2023-08-25 | 百度在线网络技术(北京)有限公司 | 显示优化方法、相关装置及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN111832446B (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Martin et al. | Drive&act: A multi-modal dataset for fine-grained driver behavior recognition in autonomous vehicles | |
US20180239975A1 (en) | Method and system for monitoring driving behaviors | |
CN111859778B (zh) | 泊车模型的生成方法和装置、电子设备和存储介质 | |
Trivedi et al. | Holistic sensing and active displays for intelligent driver support systems | |
Wang et al. | A survey on driver behavior analysis from in-vehicle cameras | |
CN108446678A (zh) | 一种基于骨骼特征的危险驾驶行为识别方法 | |
CN105769120A (zh) | 疲劳驾驶检测方法和装置 | |
JP6448880B1 (ja) | 危険情報収集装置 | |
CN111832446B (zh) | 一种基于双视角视频数据的驾驶员姿态识别方法 | |
CN110532925A (zh) | 基于时空图卷积网络的驾驶员疲劳检测方法 | |
CN115027484A (zh) | 一种面向高度自动驾驶的人机融合感知方法 | |
CN114092922A (zh) | 一种基于特异性的驾驶员情绪识别及行为干预方法 | |
Wang et al. | A survey on datasets for the decision making of autonomous vehicles | |
Gupta et al. | Towards selecting robust hand gestures for automotive interfaces | |
CN112949457A (zh) | 基于增强现实技术的维修方法、装置及系统 | |
CN113525357B (zh) | 自动泊车决策模型优化系统及方法 | |
Qiu et al. | Incorporating gaze behavior using joint embedding with scene context for driver takeover detection | |
CN108459520B (zh) | 用于车辆的自动显示方法及其系统 | |
CN110659572A (zh) | 基于双向特征金字塔的视频动作检测方法 | |
CN115861982A (zh) | 一种基于监控摄像头的驾驶疲劳实时检测方法及系统 | |
CN115861981A (zh) | 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统 | |
CN114104980A (zh) | 一种基于ai与视觉结合的岸桥安全作业控制方法和系统 | |
CN113569785A (zh) | 驾驶状态感知方法及装置 | |
Huang et al. | Driving safety prediction and safe route mapping using in-vehicle and roadside data | |
Martin | Vision based, Multi-cue Driver Models for Intelligent Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |