CN114241453B - 一种利用关键点注意力的驾驶员分心驾驶监测方法 - Google Patents
一种利用关键点注意力的驾驶员分心驾驶监测方法 Download PDFInfo
- Publication number
- CN114241453B CN114241453B CN202111561616.2A CN202111561616A CN114241453B CN 114241453 B CN114241453 B CN 114241453B CN 202111561616 A CN202111561616 A CN 202111561616A CN 114241453 B CN114241453 B CN 114241453B
- Authority
- CN
- China
- Prior art keywords
- channel
- key point
- features
- global
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000012544 monitoring process Methods 0.000 title claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 3
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种利用关键点注意力的驾驶员分心驾驶监测方法。该方法利用驾驶员的判别性关键点特征以区分具有相似外观的分心驾驶行为。本发明提出通道‑空间变换卷积来改进特征变换过程，以增强卷积特征的表示能力。同时，使用Lightweight OpenPose生成关键点热图，作为全局特征的注意力图，并提出关键点投影策略来融合关键点信息和卷积特征，即将每个关键点的热力图与全局特征图进行点乘以生成局部细化特征。关键点信息到全局特征的投影提高了最终分类表示的区分度，可进一步提高驾驶员分心驾驶监测准确率。本发明在交通安全领域有重要的应用价值。
Description
技术领域
本发明属于图像处理和模式识别领域，具体涉及一种利用关键点注意力的驾驶员分心驾驶监测方法。
背景技术
如今，越来越多的现代车辆配备了高级驾驶员辅助系统（ADAS）。开发这些系统是为了通过警告驾驶员可能出现的问题并在发生事故时使驾驶员和乘客能够以安全的技术来预防事故。但是，即使是当今最新的自动驾驶汽车也不是完全自动驾驶，需要驾驶员保持谨慎并准备在紧急情况下控制方向盘。自动驾驶分为5个级别，大多数自动驾驶汽车属于2级或3级类别，这意味着驾驶员必须在要求时随时准备干预，并且不能分心。属于第4级类别的正在开发的系统的示例是Waymo自动驾驶室服务。目前已发生了几起自动驾驶汽车死亡事故，例如特斯拉自动驾驶汽车在2016年5月与佛罗里达州威利斯顿的白色卡车挂车相撞，以及优步的自动驾驶汽车在紧急情况下在方向盘后撞，于2018年3月在亚利桑那州撞死一名行人。在这两例死亡中，驾驶员本可以避免发生事故，但是证据表明他分心了。这使得分心的驾驶员检测成为汽车的重要组成部分，并可能导致新的ADAS系统的开发。检测驾驶员注意力不集中对于其他预防措施极为重要。
发明内容
为解决上述问题，本发明公开了一种利用关键点注意力的驾驶员分心驾驶监测方法，发明中使用的通道-空间变换卷积和关键点投影方法可以有效提高驾驶员行为识别准确率。
为达到上述目的，本发明的技术方案如下：
一种利用关键点注意力的驾驶员分心驾驶监测方法，包括以下步骤：
步骤1：分心驾驶图像数据集选用现有的StateFarm数据集；
步骤2：构建基于关键点投影的注意力网络，采用与通道-空间转换块相结合的ResNet-50作为主干，提取全局特征，并输入到所有后续分支中；同时，使用LightweightOpenPose来生成包含丰富空间信息的关键点热力图；对于每个关键点（头部和手部），将热力图与全局特征相乘，再将乘积与全局特征逐元素相加以生成关键点增强特征，并将其串联起来进行最终分类；
步骤201：对于输入的驾驶图像，提出通道-空间转换卷积以提取全局特征，其明确地对特征通道之间的相互依赖性进行建模；其对全局特征进行选择性处理，即只有一半的输入通道通过通道-空间变换卷积进行处理；具体地说，具有 C 通道的输入特征被平均地划分为具有 C⁄2 通道的两组特征；第一组由通道-空间变换卷积处理，而第二组按原样传播；原始特征和处理后的特征最终通过通道混洗进行混合；这样的结构设计减少了计算负担，并进一步加强了跨卷积通道的信息流；
步骤202：基于ResNet的3×3残差瓶颈，本发明构造了通道-空间转换块，具体来说，在ResNet的残差瓶颈中加入了通道-空间变换卷积；此外，引入挤压-激励块以对通道特征进行自适应重校准，以增强通道注意力；通道-空间转换块将多个通道信息映射到空间，然后将空间信息重新映射回通道；与子像素卷积类似，通道-空间转换块通过像素混洗来缩放特征图，以加强通道信息流；通道空间变换操作不收集全局信息，只考虑空间中每个位置周围的上下文，从而避免来自图像无关区域的污染信息；
步骤203：在ResNet的 Conv4_x 和Conv5_x 中，使用通道-空间转换块代替传统的残差瓶颈，在通道-空间变换Conv5_x之上，添加了1×1卷积层以降低维度；
步骤204：通过姿态估计Lightweight OpenPose算法生成关键点热力图；热力图上的值表示人体关键点的分布概率，相当于空间注意力或掩膜；分别将每个关键点的热力图与全局特征相乘，再逐元素相加乘积和全局特征以生成关键点增强的全局表示；将关键点增强特征串联，生成分类特征；
步骤3：训练基于关键点投影的注意力网络；基于深度学习平台PyTorch，采用随机梯度下降算法优化参数；
步骤4：对基于关键点投影的注意力网络进行测试。
本发明的有益效果是：
（1）本发明提出通道-空间转换卷积，建立空间信息和通道信息之间的相互依赖关系以提取判别特征。
（2）本发明提出了关键点投影策略，通过关键点信息到全局特征的投影，引导模型聚焦于信息性关键点。
（3）本发明进一步提高驾驶员分心驾驶监测准确率，在交通安全领域有重要的应用价值。
附图说明
图1为本发明的流程图；
图2是本发明中不同驾驶行为的样例图片；
图3是本发明中基于关键点投影的注意力网络的结构示意图；
图4为本发明中通道-空间转换卷积的结构示意图；
图5为本发明中通道-空间转换块的结构示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明所述的一种利用关键点注意力的驾驶员分心驾驶监测方法，具体实施步骤如下：
步骤1：分心驾驶图像数据集选用现有的StateFarm数据集；
步骤2：构建基于关键点投影的注意力网络，图3是模型的结构示意图；采用与通道-空间转换块相结合的ResNet-50作为主干，提取全局特征，并输入到所有后续分支中；同时，使用Lightweight OpenPose来生成包含丰富空间信息的关键点热力图；对于每个关键点（头部和手部），将热力图与全局特征相乘，再将乘积与全局特征逐元素相加以生成关键点增强特征，并将其串联起来进行最终分类；
步骤201：对于输入的驾驶图像，提出通道-空间转换卷积以提取全局特征，其明确地对特征通道之间的相互依赖性进行建模；图4为通道-空间转换卷积的结构示意图，其对全局特征进行选择性处理，即只有一半的输入通道通过通道-空间变换卷积进行处理；具体地说，具有 C 通道的输入特征被平均地划分为具有 C⁄2 通道的两组特征；第一组由通道-空间变换卷积处理，而第二组按原样传播；原始特征和处理后的特征最终通过通道混洗进行混合；这样的结构设计减少了计算负担，并进一步加强了跨卷积通道的信息流；
步骤202：基于ResNet的3×3残差瓶颈，本发明构造了通道-空间转换块，图5为通道-空间转换块的结构示意图；具体来说，在ResNet的残差瓶颈中加入了通道-空间变换卷积；此外，引入挤压-激励块以对通道特征进行自适应重校准，以增强通道注意力；通道-空间转换块将多个通道信息映射到空间，然后将空间信息重新映射回通道；与子像素卷积类似，通道-空间转换块通过像素混洗来缩放特征图，以加强通道信息流；通道空间变换操作不收集全局信息，只考虑空间中每个位置周围的上下文，从而避免来自图像无关区域的污染信息；
步骤203：在ResNet的 Conv4_x 和Conv5_x 中，使用通道-空间转换块代替传统的残差瓶颈，在通道-空间变换Conv5_x之上，添加了1×1卷积层以降低维度；
步骤204：通过姿态估计Lightweight OpenPose算法生成关键点热力图；热力图上的值表示人体关键点的分布概率，相当于空间注意力或掩膜；分别将每个关键点的热力图与全局特征相乘，再逐元素相加乘积和全局特征以生成关键点增强的全局表示；将关键点增强特征串联，生成分类特征；
步骤3：训练基于关键点投影的注意力网络；基于深度学习平台PyTorch，采用随机梯度下降算法优化参数；
步骤4：对基于关键点投影的注意力网络进行测试。
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。
Claims (1)
1.一种利用关键点注意力的驾驶员分心驾驶监测方法，其特征在于，包括以下步骤：
步骤1：分心驾驶图像数据集选用现有的StateFarm数据集；
步骤2：构建基于关键点投影的注意力网络；采用与通道-空间转换块相结合的ResNet-50作为主干，提取全局特征，并输入到所有后续分支中；同时，使用Lightweight OpenPose来生成包含丰富空间信息的关键点热力图；对于头部和手部关键点，将热力图与全局特征相乘，再将乘积与全局特征逐元素相加以生成关键点增强特征，并将其串联起来进行最终分类，具体如下；
步骤201：对于输入的驾驶图像，提出通道-空间转换卷积以提取全局特征，其明确地对特征通道之间的相互依赖性进行建模；其对全局特征进行选择性处理，即只有一半的输入通道通过通道-空间变换卷积进行处理；具体地说，具有 C 通道的输入特征被平均地划分为具有 C⁄2 通道的两组特征；第一组由通道-空间变换卷积处理，而第二组按原样传播；原始特征和处理后的特征最终通过通道混洗进行混合；这样的结构设计减少了计算负担，并进一步加强了跨卷积通道的信息流；
步骤202：基于ResNet的3×3残差瓶颈，构造通道-空间转换块，具体来说，在ResNet的残差瓶颈中加入了通道-空间变换卷积；此外，引入挤压-激励块以对通道特征进行自适应重校准，以增强通道注意力；通道-空间转换块将多个通道信息映射到空间，然后将空间信息重新映射回通道；与子像素卷积类似，通道-空间转换块通过像素混洗来缩放特征图，以加强通道信息流；通道空间变换操作不收集全局信息，只考虑空间中每个位置周围的上下文，从而避免来自图像无关区域的污染信息；
步骤203：在ResNet的Conv4_x 和Conv5_x 中，使用通道-空间转换块代替传统的残差瓶颈，在通道-空间变换Conv5_x之上，添加了1×1卷积层以降低维度；
步骤204：通过姿态估计Lightweight OpenPose算法生成关键点热力图；热力图上的值表示人体关键点的分布概率，相当于空间注意力或掩膜；分别将每个关键点的热力图与全局特征相乘，再逐元素相加乘积和全局特征以生成关键点增强的全局表示；将关键点增强特征串联，生成分类特征；
步骤3：训练基于关键点投影的注意力网络；基于深度学习平台PyTorch，采用随机梯度下降算法优化参数；
步骤4：对基于关键点投影的注意力网络进行测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561616.2A CN114241453B (zh) | 2021-12-20 | 2021-12-20 | 一种利用关键点注意力的驾驶员分心驾驶监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111561616.2A CN114241453B (zh) | 2021-12-20 | 2021-12-20 | 一种利用关键点注意力的驾驶员分心驾驶监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114241453A CN114241453A (zh) | 2022-03-25 |
| CN114241453B true CN114241453B (zh) | 2024-03-12 |
Family
ID=80759119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111561616.2A Active CN114241453B (zh) | 2021-12-20 | 2021-12-20 | 一种利用关键点注意力的驾驶员分心驾驶监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241453B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428699A (zh) * | 2020-06-10 | 2020-07-17 | 南京理工大学 | 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统 |
| CN111832503A (zh) * | 2020-07-20 | 2020-10-27 | 中国人民武装警察部队工程大学 | 一种基于联邦学习的分心驾驶识别方法 |
| CN111860427A (zh) * | 2020-07-30 | 2020-10-30 | 重庆邮电大学 | 基于轻量级类八维卷积神经网络的驾驶分心识别方法 |
| CN113283338A (zh) * | 2021-05-25 | 2021-08-20 | 湖南大学 | 驾驶员驾驶行为识别方法、装置、设备及可读存储介质 |
-
2021
- 2021-12-20 CN CN202111561616.2A patent/CN114241453B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428699A (zh) * | 2020-06-10 | 2020-07-17 | 南京理工大学 | 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统 |
| CN111832503A (zh) * | 2020-07-20 | 2020-10-27 | 中国人民武装警察部队工程大学 | 一种基于联邦学习的分心驾驶识别方法 |
| CN111860427A (zh) * | 2020-07-30 | 2020-10-30 | 重庆邮电大学 | 基于轻量级类八维卷积神经网络的驾驶分心识别方法 |
| CN113283338A (zh) * | 2021-05-25 | 2021-08-20 | 湖南大学 | 驾驶员驾驶行为识别方法、装置、设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 轻量级双路卷积神经网络与帧间信息推理的人体姿态估计;陈昱昆;汪正祥;于莲芝;;小型微型计算机系统(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114241453A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886210A (zh) | 一种交通图像识别方法、装置、计算机设备和介质 | |
| CN106203330A (zh) | 一种基于卷积神经网络的车辆分类方法 | |
| CN111931639B (zh) | 驾驶员行为检测方法、装置、电子设备及存储介质 | |
| CN112560693B (zh) | 基于深度学习目标检测的高速公路异物识别方法和系统 | |
| CN111259737B (zh) | 车辆方向盘故障的预测方法、装置、电子设备及存储介质 | |
| CN110298257B (zh) | 一种基于人体多部位特征的驾驶员行为识别方法 | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN105956568A (zh) | 一种基于监控目标识别的异常行为检测预警方法 | |
| Naik et al. | Driver’s seat belt detection using CNN | |
| CN112613434A (zh) | 道路目标检测方法、装置及存储介质 | |
| CN111310650A (zh) | 车辆乘坐对象的分类方法、装置、计算机设备和存储介质 | |
| CN116740412A (zh) | 一种基于多尺度信息融合的小目标检测方法 | |
| CN115588126A (zh) | 一种融合GAM、CARAFE和SnIoU的车辆目标检测方法 | |
| CN114241453B (zh) | 一种利用关键点注意力的驾驶员分心驾驶监测方法 | |
| CN114429619A (zh) | 目标车辆的检测方法及装置 | |
| CN112052829B (zh) | 一种基于深度学习的飞行员行为监控方法 | |
| CN102043941B (zh) | 动态实时相对关系识别方法与系统 | |
| CN115588188A (zh) | 一种机车、车载终端和驾驶员行为识别方法 | |
| Mashuk et al. | Automatic detection of bangla characters in bangladeshi car registration plates | |
| JP2022517152A (ja) | 車両内で撮像された画像内の運転者と乗員とを区別するためのシステム及び方法 | |
| CN110555425A (zh) | 一种视频流实时行人检测方法 | |
| CN115601733A (zh) | 基于人体骨架的科目三安全员作弊行为检测方法及系统 | |
| Reiterer et al. | Beyond-design-basis evaluation of advanced driver assistance systems | |
| US11447127B2 (en) | Methods and apparatuses for operating a self-driving vehicle | |
| CN113127710A (zh) | 信息呈现方法、装置、服务器及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |