CN110991353A - 识别驾驶员驾驶行为及危险驾驶行为预警方法 - Google Patents

识别驾驶员驾驶行为及危险驾驶行为预警方法 Download PDF

Info

Publication number
CN110991353A
CN110991353A CN201911238365.7A CN201911238365A CN110991353A CN 110991353 A CN110991353 A CN 110991353A CN 201911238365 A CN201911238365 A CN 201911238365A CN 110991353 A CN110991353 A CN 110991353A
Authority
CN
China
Prior art keywords
driving behavior
driver
vehicle
state
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911238365.7A
Other languages
English (en)
Inventor
要婷婷
田滨
胡成云
王晓
王飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Vehicle Intelligence Pioneers Inc
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201911238365.7A priority Critical patent/CN110991353A/zh
Publication of CN110991353A publication Critical patent/CN110991353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于智能驾驶技术领域，具体涉及一种识别驾驶员驾驶行为及危险驾驶行为预警方法、系统、装置，旨在解决驾驶员驾驶行为识别方法识别准确率低及对识别出的危险驾驶行为信息不能共享的问题。本系统方法包括获取驾驶员的驾驶行为深度图像；通过驾驶行为识别模型获取驾驶员的驾驶行为状态；基于预设的驾驶员行为状态分级规则，对所识别的驾驶员驾驶行为状态进行危险级别判断，依据预设的危险级别预警方式进行预警提示。本发明通过迁移学习训练驾驶行为识别模型，提高了驾驶行为识别的准确率，同时，将识别出的危险驾驶行为及时广播，实现了信息的共享。

Description

识别驾驶员驾驶行为及危险驾驶行为预警方法
技术领域
本发明属于智能驾驶技术领域，具体涉及一种识别驾驶员驾驶行为及危险驾驶行为预警方法、系统、装置。
背景技术
随着汽车数量的增多，交通事故的发生更加频繁。不规范的驾驶行为存在着严重的安全隐患，这也是超过80％的交通事故发生的主要原因。因此，对驾驶员的驾驶行为进行监控具有极其重要的应用价值。随着图像处理和计算机视觉技术的发展，基于计算机视觉的驾驶员监控系统已成为驾驶员行为识别的主流发展方向。
目前，针对现有的基于视觉的驾驶员行为识别技术，具有识别结果尚且不够精确的缺陷，究其原因，主要存在以下问题：
(1)对于驾驶员行为识别公开的数据集中训练样本不够充足，这也限制了深度卷积神经网络对识别准确率的进一步提高；
(2)对于驾驶员属性识别，传统的方法包括特征提取和分类器判别这两个步骤。在现实的场景当中，驾驶员某些动作不是特别明显，姿态也是千变万化的，同时，识别还受到光照等自然环境的影响，现有的一些特征提取方法不能很好的处理这些问题。此外，在复杂多变的环境下，传统方法的识别准确率较低；
(3)驾驶员驾驶行为由一个内置的车载摄像头捕捉，由于获取的图像均为驾驶员及车内同一视野内的区域，不同的驾驶行为具有相似的全局背景信息，但由于不同的驾驶行为导致的手、人脸、眼睛等不同的动作，不同的驾驶行为又具有不同的局部信息，给识别带来了一定的困难。
同时，识别出当前车辆正在危险驾驶，如果不及时对本车驾驶员及周围车辆驾驶员进行通知，则仍然会造成诸多隐患。
发明内容
为了解决现有技术中的上述问题，即为了解决现有驾驶员驾驶行为识别方法由于训练样本少、自然环境影响等原因，导致驾驶员驾驶行为识别准确率低及对识别出的危险驾驶行为信息不能共享的问题，本发明第一方面，提出了一种识别驾驶员驾驶行为的方法，该方法包括：
步骤S100，获取当前时刻驾驶员的驾驶行为深度图像；
步骤S110，基于所述驾驶行为深度图像，通过驾驶行为识别模型获取驾驶员的驾驶行为状态；
所述驾驶行为识别模型基于深度卷积神经网络构建，其训练方法为：
步骤A100，利用ImageNet数据集对驾驶行为识别模型进行预训练，得到第一模型；
步骤A200，以预设行为类别对应的全连接层和分类层，替换所述第一模型的全连接层和分类层，得到第二模型；
步骤A300，基于第一训练样本集，采用迁移学习方法对所述第二模型进行训练，获得训练好的驾驶行为识别模型；所述第一训练样本集为预设行为类别对应训练样本集，通过将驾驶行为深度图像样本进行驾驶员区域提取获取。
在一些优选的实施方式中，所述驾驶行为状态其包括正常驾驶状态、右后视镜检查状态、后视镜检查状态、左后视镜检查状态、发短信息状态、接听电话状态、使用无线电/视频设备状态、打瞌睡或晕倒等危险驾驶状态；其中，发短信息状态、接听电话状态、使用无线电/视频设备状态、打瞌睡或晕倒等危险驾驶状态为危险驾驶行为状态。
在一些优选的实施方式中，所述深度卷积神经网络为AlexNet、GooleNet、ResNet中任一种。
在一些优选的实施方式中，步骤A300中“通过将驾驶行为深度图像样本进行驾驶员区域提取获取”，其方法为：
通过深度相机获取多张驾驶员行为深度图像，作为输入图像；
基于各输入图像，分别通过混合高斯模型提取驾驶员所在区域的图像，得到驾驶行为图像；
基于各驾驶行为图像，构建获取第一训练样本集。
本发明的第二方面，提出了一种驾驶员危险驾驶行为预警方法，包括以下步骤：
步骤S200，基于上述的识别驾驶员驾驶行为的方法获取第一车辆中驾驶员驾驶行为状态；所述第一车辆为被检测到处于危险驾驶行为状态的车辆；
步骤S210，基于预设的驾驶员行为状态分级规则，对所识别的驾驶员驾驶行为状态进行危险级别判断，依据预设的危险级别预警方式进行预警提示：
若所述驾驶行为状态属于预设的轻度危险驾驶行为状态，则生成第一预警提示；所述预设的轻度危险驾驶行为状态包括发短信息状态、接听电话状态、使用无线电/视频设备状态；所述第一预警提示为当前车辆的危险驾驶行为；
若所述驾驶行为状态属于预设的重度危险驾驶行为状态，将预警信息进行广播播报；所述预警信息包括车辆坐标信息、车辆信息、驾驶员驾驶行为状态；所述预设的重度危险驾驶行为状态包括打瞌睡或晕倒等危险驾驶状态；
第二车辆获取广播播报的预警信息，基于自身车辆信息生成第二预警提示；所述第二车辆为所述第一车辆预设广播播报范围内的车辆；所述自身车辆信息包括车辆坐标信息；所述第二预警提示包括第一车辆相对于第二车辆的方位及距离、第一车辆的车辆信息。
在一些优选的实施方式中，所述车辆信息包括车牌号、车辆颜色、车辆型号。
本发明的第三方面，提出了一种识别驾驶员驾驶行为的系统，该系统包括获取模块、识别模块、输出模块；
所述获取模块，配置为获取当前时刻驾驶员的驾驶行为深度图像；
所述识别模块，配置为基于所述驾驶行为深度图像，通过驾驶行为识别模型获取驾驶员的驾驶行为状态；
所述输出模块，配置为输出驾驶员的驾驶行为状态。
本发明的第四方面，提出了一种驾驶员危险驾驶行为预警系统，该系统包括获取模块、危险等级判别模块、预警提示模块；
所述获取模块，配置为基于上述的识别驾驶员驾驶行为的系统获取第一车辆中驾驶员驾驶行为状态；所述第一车辆为被检测到处于危险驾驶行为状态的车辆；
所述危险等级判别模块，配置为基于预设的驾驶员行为状态分级规则，对所识别的驾驶员驾驶行为状态进行危险级别判断，获取驾驶员驾驶行为状态的危险级别；
所述预警提示模块，配置为基于所述驾驶行为状态的危险级别，依据预设的危险级别预警方式进行预警提示：
若所述驾驶行为状态属于预设的轻度危险驾驶行为状态，则生成第一预警提示；所述预设的轻度危险驾驶行为状态包括发短信息状态、接听电话状态、使用无线电/视频设备状态；所述第一预警提示为当前车辆的危险驾驶行为；
若所述驾驶行为状态属于预设的重度危险驾驶行为状态，将预警信息进行广播播报；所述预警信息包括车辆坐标信息、车辆信息、驾驶员驾驶行为状态；所述预设的重度危险驾驶行为状态包括打瞌睡或晕倒等危险驾驶状态；
第二车辆获取广播播报的预警信息，基于自身车辆信息生成第二预警提示；所述第二车辆为所述第一车辆预设广播播报范围内的车辆；所述自身车辆信息包括车辆坐标信息；所述第二预警提示包括第一车辆相对于第二车辆的方位及距离、第一车辆的车辆信息。
本发明的第五方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的识别驾驶员驾驶行为的方法和/或上述的驾驶员危险驾驶行为预警方法。
本发明的第六方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的识别驾驶员驾驶行为的方法和/或上述的驾驶员危险驾驶行为预警方法。
本发明的有益效果：
本发明通过迁移学习训练驾驶行为识别模型，提高了驾驶行为识别的准确率，同时，将识别出的危险驾驶行为及时广播，实现了信息的共享。本发明通过迁移学习利用开源数据集先对深度学习模型中的特征提取与表征部分进行预训练，而后利用小规模数据量的数据集对模型的分类器层的二次训练，便能够完成精确的驾驶行为识别模型的构建，提高了在线驾驶员驾驶行为的识别结果的精确度。其中，驾驶行为识别模型能根据不同的驾驶员驾驶行为识别任务需求进行构建，能够随着识别任务需求中所包含的驾驶行为类别的扩展而进行更新，大大提高了驾驶行为识别模型的适用性和可扩展性。
同时，本发明通过驾驶员驾驶行为识别方法获取驾驶员的危险驾驶行为，并对危险驾驶行为分级进行预警处理。实现了驾驶员驾驶行为信息的共享，能够很大程度的减少交通事故的发生。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的识别驾驶员驾驶行为的方法的流程示意图；
图2是本发明一种实施例的驾驶员危险驾驶行为预警方法的流程示意图；
图3是本发明一种实施例的识别驾驶员驾驶行为的系统的框架示意图；
图4是本发明一种实施例的驾驶员危险驾驶行为预警系统的框架示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的识别驾驶员驾驶行为的方法，如图1所示，包括以下步骤：
步骤S100，获取当前时刻驾驶员的驾驶行为深度图像；
步骤S200，基于所述驾驶行为深度图像，通过驾驶行为识别模型获取驾驶员的驾驶行为状态；
所述驾驶行为识别模型基于深度卷积神经网络构建，其训练方法为：
步骤A100，利用ImageNet数据集对驾驶行为识别模型进行预训练，得到第一模型；
步骤A200，以预设行为类别对应的全连接层和分类层，替换所述第一模型的全连接层和分类层，得到第二模型；
步骤A300，基于第一训练样本集，采用迁移学习方法对所述第二模型进行训练，获得训练好的驾驶行为识别模型；所述第一训练样本集为预设行为类别对应训练样本集，通过将驾驶行为深度图像样本进行驾驶员区域提取获取。
为了更清晰地对本发明识别驾驶员驾驶行为的方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
下文优选实施例中，先对的驾驶行为识别模型的训练方法进行详述，再对基于识别驾驶员驾驶行为的方法获取驾驶员的驾驶行为状态进行详述。
1、驾驶行为识别模型的训练方法
步骤A100，利用ImageNet数据集对驾驶行为识别模型进行预训练，得到第一模型。
本发明根据包含有不同驾驶员驾驶行为状态的驾驶员驾驶行为识别任务需求，适应性的构建针对不同驾驶员驾驶行为识别任务需求的驾驶行为识别模型，从而适应于逐步发展的驾驶员驾驶行为状态。驾驶行为识别模型基于深度卷积神经网络构建，可以选取AlexNet、GooleNet、ResNet中任一种。
基于构建的驾驶行为识别模型，利用开源数据集对其进行预训练，得到相应的表示预训练结果的模型，将其作为第一模型。本实施例中，开源数据集优选为ImageNet数据集，在其他实施例中可以根据任务需求选取其他的开源数据集。
步骤A200，以预设行为类别对应的全连接层和分类层，替换所述第一模型的全连接层和分类层，得到第二模型。
本实施例中，保留第一模型中特征提取与表征部分相关的层，并根据当前驾驶行为状态识别结果，修改第一模型中分类器部分相关的层，得到第二模型。由于需要利用深度卷积神经网络从上述开源数据集中学习到的特征提取与表征部分的高准确度效果，能够精确的完成对开源数据集中的驾驶员驾驶行为特征提取与表征过程。因而，需要在对第一模型进行修改时，保留第一模型中的特征提取与表征部分相关的层，仅修改预训练模型中最后几层与分类部分有关的层。具体为：修改第一模型中最后2～3层全连接层和softmax层(例如：将原网络模型的最后一个全连接层和输出1000个类别的输出层替换为一个新的全连接层和输出所需七个类别概率的softmax层)，使得第一模型能够输出7个上述驾驶员驾驶行为状态的概率。
需要说明的是，在本实施例中，第一模型中的特征提取与表征部分所提取到的特征信息具体指的是驾驶员具体动作行为的特征，其目的是判断出驾驶员所做的动作，从而利用后端的分类器部分归类出具体的驾驶员驾驶行为状态，例如：头部旋转角度、视线偏移方向、手指细节动作、手关节位置动作等细节性动作特征。
步骤A300，基于第一训练样本集，采用迁移学习方法对所述第二模型进行训练，获得训练好的驾驶行为识别模型；所述第一训练样本集为预设行为类别对应训练样本集，通过将驾驶行为深度图像样本进行驾驶员区域提取获取。
在本实施例中，通过安装在驾驶员前方的深度相机，收集在驾驶过程中的含有驾驶员驾驶行为信息的原始深度RGB图像。采集的深度图像为包含不同类别的驾驶员驾驶行为信息的原始深度图像，优选为预设行为类别的驾驶行为深度图像。本实施例中，优选的驾驶行为类别包括为8个状态：正常驾驶(状态)、右后视镜检查(状态)、后视镜检查(状态)、左后视镜检查(状态)、发短信息(状态)、接听电话(状态)和使用无线电/视频设备(状态)、打瞌睡或晕倒等危险驾驶(状态)。其中，发短信息状态、接听电话状态、使用无线电/视频设备状态、打瞌睡或晕倒等危险驾驶状态为危险驾驶行为状态。由于深度图像所采集到每个像素点中包含有图像的深度位置信息，相较于普通相机所采集到的图像来说，能够更加准确的识别出当前图像中驾驶员所在的具体位置，并且能够更加精确的勾勒出驾驶员的所在图像的轮廓。
将实时采集到的每幅原始深度RGB图像进行图像分割处理，提取图像中驾驶员所在区域的驾驶行为图像，并将当前得到的驾驶行为图像，存入训练样本集中，用以构成实时更新的训练样本集。
在图像分割处理过程中，需要利用混合高斯模型将实时采集到的每幅原始深度RGB图像进行裁剪及分割处理，将驾驶员区域从原始深度图像的背景中分割出来，识别出驾驶员位置。也就是说，需要将原始图像中与驾驶行为无关的相似的全局背景信息滤除，只保留与驾驶行为有关的局部特征信息，例如手、人脸、眼睛等不同的位置。这样，相比于直接在原始图像上进行驾驶行为识别模型的训练处理，使用分割处理后的驾驶员行为图像进行识别模型的训练，可以提升识别模型的准确率、以及识别结果的精确度。
由于在构建驾驶行为识别模型过程中，已经先利用大规模开源数据集对模型进行了预训练，故二次训练过程只需要训练样本集内的几百张到一千张的数据即可完成，这样，降低了在采集训练样本集中训练数据的时间成本，提高了构建驾驶行为识别模型的效率。
2、识别驾驶员驾驶行为的方法
步骤S100，获取当前时刻驾驶员的驾驶行为深度图像。
本实施例中，通过安装在驾驶员前方的深度相机，收集在驾驶过程中的含有驾驶员行为信息的深度图像，作为输入图像。
步骤S110，基于所述驾驶行为深度图像，通过驾驶行为识别模型获取驾驶员的驾驶行为状态。
在本实施例中，基于输入图像，通过训练好的驾驶行为识别模型直接获取驾驶员的驾驶行为状态。
本发明第二实施例的一种驾驶员危险驾驶行为预警方法，如图2所示，包括以下步骤：
步骤S200，基于上所述的识别驾驶员驾驶行为的方法获取第一车辆中驾驶员驾驶行为状态；所述第一车辆为被检测到处于危险驾驶行为状态的车辆；
步骤S210，基于预设的驾驶员行为状态分级规则，对所识别的驾驶员驾驶行为状态进行危险级别判断，依据预设的危险级别预警方式进行预警提示；
若所述驾驶行为状态属于预设的轻度危险驾驶行为状态，则生成第一预警提示；所述预设的轻度危险驾驶行为状态包括发短信息状态、接听电话状态、使用无线电/视频设备状态；所述第一预警提示为当前车辆的危险驾驶行为；
若所述驾驶行为状态属于预设的重度危险驾驶行为状态，将预警信息进行广播播报；所述预警信息包括车辆坐标信息、车辆信息、驾驶员驾驶行为状态；所述预设的重度危险驾驶行为状态包括打瞌睡或晕倒等危险驾驶状态；
第二车辆获取广播播报的预警信息，基于自身车辆信息生成第二预警提示；所述第二车辆为所述第一车辆预设广播播报范围内的车辆；所述自身车辆信息包括车辆坐标信息；所述第二预警提示包括第一车辆相对于第二车辆的方位及距离、第一车辆的车辆信息。
为了更清晰地对本发明驾驶员危险驾驶行为预警方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
步骤S200，基于上所述的识别驾驶员驾驶行为的方法获取第一车辆中驾驶员驾驶行为状态；所述第一车辆为被检测到处于危险驾驶行为状态的车辆。
在本实施例中，检测各车辆驾驶员驾驶行为状态，若包含发短信息状态、接听电话状态、使用无线电/视频设备状态、打瞌睡或晕倒等危险驾驶状态为危险驾驶行为状态，则判定当前车辆需要进行预警提示。
步骤S210，基于预设的驾驶员行为状态分级规则，对所识别的驾驶员驾驶行为状态进行危险级别判断，依据预设的危险级别预警方式进行预警提示；
若所述驾驶行为状态属于预设的轻度危险驾驶行为状态，则生成第一预警提示；所述预设的轻度危险驾驶行为状态包括发短信息状态、接听电话状态、使用无线电/视频设备状态；所述第一预警提示为当前车辆的危险驾驶行为；
若所述驾驶行为状态属于预设的重度危险驾驶行为状态，将预警信息进行广播播报；所述预警信息包括车辆坐标信息、车辆信息、驾驶员驾驶行为状态；所述预设的重度危险驾驶行为状态包括打瞌睡或晕倒等危险驾驶状态；
第二车辆获取广播播报的预警信息，基于自身车辆信息生成第二预警提示；所述第二车辆为所述第一车辆预设广播播报范围内的车辆；所述自身车辆信息包括车辆坐标信息；所述第二预警提示包括第一车辆相对于第二车辆的方位及距离、第一车辆的车辆信息。
本实施例中，将驾驶员危险驾驶行为状态分为轻度危险驾驶行为状态和重度轻度危险驾驶行为状态。其中，轻度危险驾驶行为状态包括发短信息状态、接听电话状态、使用无线电/视频设备状态；重度轻度危险驾驶行为状态包括打瞌睡或晕倒等危险驾驶状态为危险驾驶行为状态。在其他实施例中，可根据实际需求，根据驾驶行为进行更精细的划分。
对所识别的驾驶员驾驶行为状态进行危险级别判断，若为轻度危险驾驶行为状态，则生成第一预警提示。即根据当前车辆驾驶员的驾驶行为状态，在显示屏上展示当前驾驶员行为状态并进行声音警报提示，提醒驾驶员纠正驾驶行为，注意安全驾驶。
若驾驶行为状态属于预设的重度危险驾驶行为状态，则可能会对本车及其他车辆造成一定的威胁，甚至会造成交通事故等重大影响。这时候需要对周边的车辆进行预警提示，从而使周边的车辆形成避让，将损失减到最小。具体处理如下：
被检测到处于危险驾驶行为状态的车辆，基于当前车辆的车辆坐标信息、车辆信息、驾驶员驾驶行为状态生成预警信息并进行广播播报，即对周边预设范围内的车辆进行广播。将被检测到处于危险驾驶行为状态的车辆作为第一车辆。
第一车辆预设广播播报范围内的车辆获取广播播报的预警信息，基于自身车辆的坐标信息，生成包括第一车辆相对于自身车辆的方位及距离、第一车辆的车辆信息的第二预警提示，提示第二车辆的驾驶员进行避让。其中，车辆信息包括车牌号、车辆颜色、车辆型号。因此，生成的播报如下：左前方50米有一辆红色的法拉利，车牌号为：京A 12345，驾驶员正在打瞌睡，请注意避让或减速行驶。
本发明第三实施例的一种识别驾驶员驾驶行为的系统，如图3所示，包括：获取模块100、识别模块110、输出模块120；
所述获取模块100，配置为获取当前时刻驾驶员的驾驶行为深度图像；
所述识别模块110，配置为基于所述驾驶行为深度图像，通过驾驶行为识别模型获取驾驶员的驾驶行为状态；
所述输出模块120，配置为输出驾驶员的驾驶行为状态。
本发明第四实施例的一种驾驶员危险驾驶行为预警系统，如图4所示，包括获取模块200、危险等级判别模块210、预警提示模块220；
所述获取模块200，配置为基于上述的识别驾驶员驾驶行为的系统获取第一车辆中驾驶员驾驶行为状态；所述第一车辆为被检测到处于危险驾驶行为状态的车辆；
所述危险等级判别模块210，配置为基于预设的驾驶员行为状态分级规则，对所识别的驾驶员驾驶行为状态进行危险级别判断，获取驾驶员驾驶行为状态的危险级别；
所述预警提示模块220，配置为基于所述驾驶行为状态的危险级别，依据预设的危险级别预警方式进行预警提示：
若所述驾驶行为状态属于预设的轻度危险驾驶行为状态，则生成第一预警提示；所述预设的轻度危险驾驶行为状态包括发短信息状态、接听电话状态、使用无线电/视频设备状态；所述第一预警提示为当前车辆的危险驾驶行为；
若所述驾驶行为状态属于预设的重度危险驾驶行为状态，将预警信息进行广播播报；所述预警信息包括车辆坐标信息、车辆信息、驾驶员驾驶行为状态；所述预设的重度危险驾驶行为状态包括打瞌睡或晕倒等危险驾驶状态；
第二车辆获取广播播报的预警信息，基于自身车辆信息生成第二预警提示；所述第二车辆为所述第一车辆预设广播播报范围内的车辆；所述自身车辆信息包括车辆坐标信息；所述第二预警提示包括第一车辆相对于第二车辆的方位及距离、第一车辆的车辆信息。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的识别驾驶员驾驶行为的系统和/或驾驶员危险驾驶行为预警系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第五实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的识别驾驶员驾驶行为的方法和/或上述的驾驶员危险驾驶行为预警方法。
本发明第六实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的识别驾驶员驾驶行为的方法和/或上述的驾驶员危险驾驶行为预警方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的设定应用和设计约束条件。本领域技术人员可以对每个设定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示设定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种识别驾驶员驾驶行为的方法，其特征在于，该方法包括：
步骤S100，获取当前时刻驾驶员的驾驶行为深度图像；
步骤S110，基于所述驾驶行为深度图像，通过驾驶行为识别模型获取驾驶员的驾驶行为状态；
所述驾驶行为识别模型基于深度卷积神经网络构建，其训练方法为：
步骤A100，利用ImageNet数据集对驾驶行为识别模型进行预训练，得到第一模型；
步骤A200，以预设行为类别对应的全连接层和分类层，替换所述第一模型的全连接层和分类层，得到第二模型；
步骤A300，基于第一训练样本集，采用迁移学习方法对所述第二模型进行训练，获得训练好的驾驶行为识别模型；所述第一训练样本集为预设行为类别对应训练样本集，通过将驾驶行为深度图像样本进行驾驶员区域提取获取。
2.根据权利要求1所述的识别驾驶员驾驶行为的方法，其特征在于，所述驾驶行为状态其包括正常驾驶状态、右后视镜检查状态、后视镜检查状态、左后视镜检查状态、发短信息状态、接听电话状态、使用无线电/视频设备状态、打瞌睡或晕倒等危险驾驶状态；其中，发短信息状态、接听电话状态、使用无线电/视频设备状态、打瞌睡或晕倒等危险驾驶状态为危险驾驶行为状态。
3.根据权利要求1所述的识别驾驶员驾驶行为的方法，其特征在于，所述深度卷积神经网络为AlexNet、GooleNet、ResNet中任一种。
4.根据权利要求1所述的识别驾驶员驾驶行为的方法，其特征在于，步骤A300中“通过将驾驶行为深度图像样本进行驾驶员区域提取获取”，其方法为：
通过深度相机获取多张驾驶员行为深度图像，作为输入图像；
基于各输入图像，分别通过混合高斯模型提取驾驶员所在区域的图像，得到驾驶行为图像；
基于各驾驶行为图像，构建获取第一训练样本集。
5.一种驾驶员危险驾驶行为预警方法，其特征在于，包括以下步骤：
步骤S200，基于权利要求1-4任一项所述的识别驾驶员驾驶行为的方法获取第一车辆中驾驶员驾驶行为状态；所述第一车辆为被检测到处于危险驾驶行为状态的车辆；
步骤S210，基于预设的驾驶员行为状态分级规则，对所识别的驾驶员驾驶行为状态进行危险级别判断，依据预设的危险级别预警方式进行预警提示：
若所述驾驶行为状态属于预设的轻度危险驾驶行为状态，则生成第一预警提示；所述预设的轻度危险驾驶行为状态包括发短信息状态、接听电话状态、使用无线电/视频设备状态；所述第一预警提示为当前车辆的危险驾驶行为；
若所述驾驶行为状态属于预设的重度危险驾驶行为状态，将预警信息进行广播播报；所述预警信息包括车辆坐标信息、车辆信息、驾驶员驾驶行为状态；所述预设的重度危险驾驶行为状态包括打瞌睡或晕倒等危险驾驶状态；
第二车辆获取广播播报的预警信息，基于自身车辆信息生成第二预警提示；所述第二车辆为所述第一车辆预设广播播报范围内的车辆；所述自身车辆信息包括车辆坐标信息；所述第二预警提示包括第一车辆相对于第二车辆的方位及距离、第一车辆的车辆信息。
6.根据权利要求6所述的驾驶员危险驾驶行为预警方法，其特征在于，所述车辆信息包括车牌号、车辆颜色、车辆型号。
7.一种识别驾驶员驾驶行为的系统，其特征在于，该系统包括获取模块、识别模块、输出模块；
所述获取模块，配置为获取当前时刻驾驶员的驾驶行为深度图像；
所述识别模块，配置为基于所述驾驶行为深度图像，通过驾驶行为识别模型获取驾驶员的驾驶行为状态；
所述输出模块，配置为输出驾驶员的驾驶行为状态。
8.一种驾驶员危险驾驶行为预警系统，其特征在于，该系统包括获取模块、危险等级判别模块、预警提示模块；
所述获取模块，配置为基于权利要求7所述的识别驾驶员驾驶行为的系统获取第一车辆中驾驶员驾驶行为状态；所述第一车辆为被检测到处于危险驾驶行为状态的车辆；
所述危险等级判别模块，配置为基于预设的驾驶员行为状态分级规则，对所识别的驾驶员驾驶行为状态进行危险级别判断，获取驾驶员驾驶行为状态的危险级别；
所述预警提示模块，配置为基于所述驾驶行为状态的危险级别，依据预设的危险级别预警方式进行预警提示：
若所述驾驶行为状态属于预设的轻度危险驾驶行为状态，则生成第一预警提示；所述预设的轻度危险驾驶行为状态包括发短信息状态、接听电话状态、使用无线电/视频设备状态；所述第一预警提示为当前车辆的危险驾驶行为；
若所述驾驶行为状态属于预设的重度危险驾驶行为状态，将预警信息进行广播播报；所述预警信息包括车辆坐标信息、车辆信息、驾驶员驾驶行为状态；所述预设的重度危险驾驶行为状态包括打瞌睡或晕倒等危险驾驶状态；
第二车辆获取广播播报的预警信息，基于自身车辆信息生成第二预警提示；所述第二车辆为所述第一车辆预设广播播报范围内的车辆；所述自身车辆信息包括车辆坐标信息；所述第二预警提示包括第一车辆相对于第二车辆的方位及距离、第一车辆的车辆信息。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-4任一项所述的识别驾驶员驾驶行为的方法和/或权利要求5-6任一项所述的驾驶员危险驾驶行为预警方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-4任一项所述的识别驾驶员驾驶行为的方法和/或权利要求5-6任一项所述的驾驶员危险驾驶行为预警方法。
CN201911238365.7A 2019-12-06 2019-12-06 识别驾驶员驾驶行为及危险驾驶行为预警方法 Pending CN110991353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911238365.7A CN110991353A (zh) 2019-12-06 2019-12-06 识别驾驶员驾驶行为及危险驾驶行为预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911238365.7A CN110991353A (zh) 2019-12-06 2019-12-06 识别驾驶员驾驶行为及危险驾驶行为预警方法

Publications (1)

Publication Number Publication Date
CN110991353A true CN110991353A (zh) 2020-04-10

Family

ID=70090615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911238365.7A Pending CN110991353A (zh) 2019-12-06 2019-12-06 识别驾驶员驾驶行为及危险驾驶行为预警方法

Country Status (1)

Country Link
CN (1) CN110991353A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626272A (zh) * 2020-07-28 2020-09-04 长沙超创电子科技有限公司 一种基于深度学习的驾驶员疲劳监测系统
CN111680740A (zh) * 2020-06-04 2020-09-18 京东方科技集团股份有限公司 神经网络的训练方法、装置及用电负荷的判别方法、装置
CN111798717A (zh) * 2020-07-03 2020-10-20 福建百信信息技术有限公司 一种支持vr驾驶培训的电动车控制系统和方法
CN112319489A (zh) * 2020-11-18 2021-02-05 三一重型装备有限公司 驾驶行为监测方法、监测系统、服务器和存储介质
CN112434588A (zh) * 2020-11-18 2021-03-02 青岛慧拓智能机器有限公司 一种端到端驾驶员高速道路换道意图的推理方法
CN113191214A (zh) * 2021-04-12 2021-07-30 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种驾驶人员失误操作风险预警方法及系统
CN113191258A (zh) * 2021-04-29 2021-07-30 深圳供电局有限公司 一种驾驶行为监控方法及系统、装置、存储介质
CN113723586A (zh) * 2020-04-28 2021-11-30 辉达公司 使用一个或更多个神经网络确定的通知
CN114092865A (zh) * 2022-01-21 2022-02-25 北京清鹤科技有限公司 一种基于神经网络的监狱服刑人员监管方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458210A (zh) * 2019-07-25 2019-11-15 武汉理工大学 一种基于迁移学习的汽车驾驶员状态监测方法及系统
CN110490275A (zh) * 2019-06-28 2019-11-22 北京理工大学 一种基于迁移学习的驾驶行为预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490275A (zh) * 2019-06-28 2019-11-22 北京理工大学 一种基于迁移学习的驾驶行为预测方法
CN110458210A (zh) * 2019-07-25 2019-11-15 武汉理工大学 一种基于迁移学习的汽车驾驶员状态监测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张鑫鑫等: "基于迁移学习的卷积神经网络应用研究" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723586A (zh) * 2020-04-28 2021-11-30 辉达公司 使用一个或更多个神经网络确定的通知
CN111680740A (zh) * 2020-06-04 2020-09-18 京东方科技集团股份有限公司 神经网络的训练方法、装置及用电负荷的判别方法、装置
CN111798717A (zh) * 2020-07-03 2020-10-20 福建百信信息技术有限公司 一种支持vr驾驶培训的电动车控制系统和方法
CN111626272A (zh) * 2020-07-28 2020-09-04 长沙超创电子科技有限公司 一种基于深度学习的驾驶员疲劳监测系统
CN112319489A (zh) * 2020-11-18 2021-02-05 三一重型装备有限公司 驾驶行为监测方法、监测系统、服务器和存储介质
CN112434588A (zh) * 2020-11-18 2021-03-02 青岛慧拓智能机器有限公司 一种端到端驾驶员高速道路换道意图的推理方法
CN112319489B (zh) * 2020-11-18 2022-03-04 三一重型装备有限公司 驾驶行为监测方法、监测系统、服务器和存储介质
CN113191214A (zh) * 2021-04-12 2021-07-30 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种驾驶人员失误操作风险预警方法及系统
CN113191258A (zh) * 2021-04-29 2021-07-30 深圳供电局有限公司 一种驾驶行为监控方法及系统、装置、存储介质
CN114092865A (zh) * 2022-01-21 2022-02-25 北京清鹤科技有限公司 一种基于神经网络的监狱服刑人员监管方法及系统

Similar Documents

Publication Publication Date Title
CN110991353A (zh) 识别驾驶员驾驶行为及危险驾驶行为预警方法
US11836985B2 (en) Identifying suspicious entities using autonomous vehicles
CN110020797B (zh) 基于感知缺陷的自动驾驶测试场景的评价方法
CN110588512A (zh) 一种危险驾驶识别与预警装置、方法及系统
CN109543647B (zh) 一种道路异常识别方法、装置、设备及介质
JP2010205160A (ja) 速度規制標識認識結果の通知方法
EP3261018A1 (en) Device and method for object recognition of an input image for a vehicle
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN109657599B (zh) 距离自适应的车辆外观部件的图片识别方法
CN114140300A (zh) 基于gps数据识别车辆停靠点方法、装置、存储介质及终端
CN110188687A (zh) 汽车的地形识别方法、系统、设备及存储介质
CN115810134A (zh) 一种车险反欺诈的图像采集质检方法、系统和装置
CN115273003A (zh) 一种结合字符定位的交通标志识别及导航决策方法和系统
CN115723919A (zh) 一种船舶偏航的辅助航行方法及装置
CN110310485B (zh) 周围信息采集显示系统
CN117130010B (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN114429619A (zh) 目标车辆的检测方法及装置
Chen Road vehicle recognition algorithm in safety assistant driving based on artificial intelligence
CN113989772A (zh) 一种交通灯检测方法、装置、车辆和可读存储介质
CN112896160B (zh) 交通标志信息获取方法及相关设备
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN202771439U (zh) 基于matlab交通标志自动识别装置
JP2012160116A (ja) 物体識別装置
CN113593253A (zh) 车辆的闯红灯监测方法和装置
CN110198439A (zh) 用于自动测试adas相机的图像识别性能的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220719

Address after: 266114 room 206-1, block D, Pangu maker space, No. 100, Torch Road, high tech Industrial Development Zone, Qingdao, Shandong

Applicant after: QINGDAO VEHICLE INTELLIGENCE PIONEERS Inc.

Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Applicant before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES