CN111968338A - 基于深度学习的驾驶行为分析识别警示系统及其识别方法 - Google Patents

基于深度学习的驾驶行为分析识别警示系统及其识别方法 Download PDF

Info

Publication number
CN111968338A
CN111968338A CN202010714640.4A CN202010714640A CN111968338A CN 111968338 A CN111968338 A CN 111968338A CN 202010714640 A CN202010714640 A CN 202010714640A CN 111968338 A CN111968338 A CN 111968338A
Authority
CN
China
Prior art keywords
model
recognition
driving behavior
parameters
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010714640.4A
Other languages
English (en)
Inventor
沈澍
杨明
刘小雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202010714640.4A priority Critical patent/CN111968338A/zh
Publication of CN111968338A publication Critical patent/CN111968338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Abstract

本发明公开了一种基于深度学习的驾驶行为分析识别警示系统及其识别方法，该系统包括具有生成深度图像功能的相机以及数据分析模块，所述数据分析模块包括具有边缘计算功能的终端设备和用于提醒播报的语音模块，所述相机用于采集驾驶员的三维空间信息，所述终端设备用于根据采集到的驾驶员的三维空间信息分析判断驾驶行为。本发明通过深度图像技术、卷积神经网络的改进、边缘系统的设计，构建数据分析模块，实现了对于驾驶人员与乘车人员的行为进行分析与分类，实时识别驾驶行为并且警示驾驶员，从而解决驾驶人员的疲劳驾驶，危险驾驶问题，减少因为驾驶人员行为不规范导致的交通事故的可能性，最大限度的保障出行安全。

Description

基于深度学习的驾驶行为分析识别警示系统及其识别方法
技术领域
本发明属于车辆乘驾行为识别领域，具体涉及一种基于深度学习的驾驶行为分析识别警示系统及其识别方法。
背景技术
随着汽车行业的发展，车祸问题频频发生。如何减少车祸的频率，提高人民的出行安全是需要重点解决的问题。同时，近年来网约车的安全问题频发也受到了社会大众的关注。因此，能随时获得驾驶员的驾驶行为变得尤其重要。随着科技的研究，已有部分技术可以获知驾驶员的驾驶行为，比如通过车辆自身的传感器来获取车辆的驾驶信息上传。但是这种方式往往不够准确，很多情况下，只有在事故发生后进行分析，不能在驾驶过程中为安全乘驾行为提供参考。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于深度学习的驾驶行为分析识别警示系统及其识别方法，其通过对Kinect所采集的深度图像在边缘设备上进行深度学习的方法分类识别，从而实现对驾驶人员与乘车人员进行实时监督提醒。
技术方案：为实现上述目的，本发明提供一种基于深度学习的驾驶行为分析识别警示系统，包括具有生成深度图像功能的Azure Kinect相机以及数据分析模块，所述数据分析模块包括具有边缘计算功能的终端设备Jetson Nano和用于提醒播报的语音模块，所述相机用于采集驾驶员的三维空间信息，所述终端设备用于根据采集到的驾驶员的三维空间信息分析判断驾驶行为。
进一步的，所述相机包括发光器件、光源驱动器、接收镜头、TOF传感芯片、TOF芯片驱动器和TOF主控器，所述光源驱动器控制发光器件发光，使发光器件发出调制光信号；所述接收镜头用于接收调制光信号；所述接收镜头能够接收到调制光照射驾驶员反射回来的回波信号，并将回波信号汇聚在TOF传感芯片上；所述TOF传感芯片接收汇聚的回波信号，并将光信号转换为电信号；所述TOF芯片驱动器接收TOF传感芯片转换的电信号，并将电信号进行处理；所述TOF主控器与光源驱动器和TOF芯片驱动器分别连接，根据光信号发出与接收之间的时间差异，计算出驾驶员所在空间的距离信息。
进一步的，所述相机为Azure Kinect相机。
一种基于深度学习的驾驶行为分析识别警示方法，包括如下步骤：
S1：利用相机采集持续生成帧的RGB图像以及深度图像，将得到的图像数据传给数据分析模块；
S2：将收集到的图像数据在数据分析模块上进行图像的对齐分割预处理；
S3：在数据分析模块上针对预处理完成的图像，利用引入注意力机制的深度卷积神经网络实现驾驶行为的多分类识别；
S4：根据识别结果，针对危险驾驶行为进行警示，通过语音模块发出警报提醒。
进一步的，所述步骤S2中通过使用基于高斯混合模型算法的图像分割方法对图像进行对齐分割预处理，高斯混合模型算法即为GMM，GMM是指具有如下形式的概率分布模型：
Figure BDA0002597718320000021
其中，αk是系数，
Figure BDA0002597718320000022
φ(y|θk)是高斯分布密度，
Figure BDA0002597718320000023
Figure BDA0002597718320000024
称为第k个分模型；
利用EM算法实现高斯混合模型的应用，其输入是观测数据y1,y2,...,yN以及高斯混合模型，输出是高斯混合模型参数。
进一步的，所述步骤S2中对齐分割预处理的具体步骤如下：
A1：取模型参数的初始值开始迭代；
A2：E步：依据当前模型参数，计算分模型k对观测数据yj的响应度；
Figure BDA0002597718320000025
A3：M步：计算新一轮迭代的模型参数；
Figure BDA0002597718320000026
Figure BDA0002597718320000027
Figure BDA0002597718320000031
EM算法就是通过迭代地最大化完整数据的对数似然函数的期望，来最大化不完整数据的对数似然函数。以上三个公式为记算每个高斯的均值，方差，比重三个参数。
A4：重复步骤A2和A3，直至收敛。
进一步的，所述步骤S3中驾驶行为的多分类识别过程具体为：使用乘驾图像作为输入图像并将其划分为4个通道，分别为R、G、B和Depth，然后分别送入卷积层进行卷积操作，经过卷积操作的通道信息再经过一个激活函数ReLu得到卷积层的输入，将卷积层的输入进行最大池化处理，提取出最明显的特征，最后再经过两个全连接层实现多分类行为识别。
进一步的，所述步骤S3中深度卷积神经网络经历过模型训练与评估，其具体的训练与评估过程为：
B1：参数初始化。神经网络的收敛结果很大程度取决于参数的初始化，理想的参数初始化方案使得模型训练事半功倍，不好的初始化方案不仅会影响网络收敛效果，甚至会导致梯度弥散或梯度爆炸。选用随机初始化方法，手动设置初始化参数，选择均匀分布与高斯分布的概率分布进行参数初始化。
B2：CNN的前向传播。定义参数：卷积核个数、卷积核尺寸、填充padding以及步长stride进行卷积层与激活层的前向传播。定义池化尺寸k以及池化方式Max/Average对输入进行成倍缩小。选用激活函数Sigmoid并定义神经元个数。
B3：CNN的反向传播。反向传播旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去。前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。
B4：进行参数微调。准备训练数据和测试数据，并进行预处理；复用相同层次的参数，新的层参数取随机初始值；调整学习率和步长等参数，增大新层的学习率、减小复用层的学习率；修改最后几层的参数，并增大学习率。这样避免出现过拟合，使模型收敛到理想状态。
进一步的，终端设备jetson nano与Kinect相机相连，接受处理TOF相机采集到的驾驶员的三维空间信息，jetson nano是一种功能强大的小型计算机，可以运行多个神经网络，从而实现图像分类，物体检测与分割语音处理等操作。该设备提供472GFLOP，用于快速运行现代AI算法，该平台易于使用，可完成所有工作，且运行功率仅为5瓦。
所述步骤S3中深度卷积神经网络经历过边缘系统设计，其具体设计过程为：
C1：Jetson Nano Developer Kit的配置。为Jetson Nano套件配置相应的内存卡，键鼠，5V2A直流电源等硬件，官网下载系统镜像并进行写入系统镜像。按下电源，绿色指示灯亮起后，进行设置，配置系统完毕。
C2：连接Jetson Nano与Azure Kinect设备，下载libdepthengine.so.1.0后，放置/usr/lib/x86_64-linux-gnu/文件夹中，编译完成开启k4aviewer获取深度视频流。
C3：应用已经搭建好的模型，布署在Jetson Nano设备上，获取深度视频流并逐帧获取图，应用已有的model进行实时多分类，当判断为危险行为，如打电话发短信等行为时，应用单片机蜂鸣器与LED的应用进行亮灯示警。根据实搭的效果进行原模型的调优，收集更多的训练数据降低过拟合，降低原模型的复杂度，降低特征的数量，不断优化性能。
深度图像是具有三维纵深的黑白像素点云图像。Kinect借助自身的红外线发射器，发出激光覆盖整个Kinect的可视范围，激光在散射体表面产生漫反射，红外线摄像头接收漫反射光线，利用光编码技术，对可视范围内的空间进行编码。Kinect对获取的具有三维纵深的编码进行解码运算，获得深度图像数据流。Kinect传感器可以用于车内空间的行车记录与实时监测，借助jetson nano这样的带有运算能力的边缘计算设备，在已经搭建好的模型上，分析驾驶人员与乘车人员的行为，对其行为进行分析与分类，从而解决驾驶人员的疲劳驾驶，危险驾驶问题，减少因为驾驶人员行为不规范导致的交通事故的可能性，最大限度的保障出行安全。
有益效果：本发明与现有技术相比，通过深度图像技术、卷积神经网络的改进、边缘系统的设计，构建数据分析模块，实现了对于驾驶人员与乘车人员的行为进行分析与分类，实时识别驾驶行为并且警示驾驶员，从而解决驾驶人员的疲劳驾驶，危险驾驶问题，减少因为驾驶人员行为不规范导致的交通事故的可能性，最大限度的保障出行安全。
附图说明
图1为本发明方法的流程示意图；
图2为卷积神经网络的行为识别过程示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
本发明提供一种基于深度学习的驾驶行为分析识别警示系统，包括具有生成深度图像功能TOF(Time Of Flight)的Azure Kinect相机以及数据分析模块，数据分析模块包括具有边缘计算功能的终端设备Jetson Nano和用于提醒播报的语音模块，Azure Kinect相机用于采集驾驶员的三维空间信息，终端设备Jetson Nano用于根据采集到的驾驶员的三维空间信息分析判断驾驶行为。
Azure Kinect相机包括发光器件、光源驱动器、接收镜头、TOF传感芯片、TOF芯片驱动器和TOF主控器，光源驱动器控制发光器件发光，使发光器件发出调制光信号；接收镜头用于接收调制光信号；接收镜头能够接收到调制光照射驾驶员反射回来的回波信号，并将回波信号汇聚在TOF传感芯片上；TOF传感芯片接收汇聚的回波信号，并将光信号转换为电信号；TOF芯片驱动器接收TOF传感芯片转换的电信号，并将电信号进行处理；TOF主控器与光源驱动器和TOF芯片驱动器分别连接，根据光信号发出与接收之间的时间差异，计算出驾驶员所在空间的距离信息。
基于上述系统，如图1所示，本发明提供一种基于深度学习的驾驶行为分析识别警示方法，包括如下步骤：
1、将Azure Kinect相机摆放于驾驶室正前上方或侧前上方，用于检测所在位置的三维空间信息，检测的视场范围覆盖驾驶员的头部，躯干以及方向盘位置。
2、利用Azure Kinect相机采集持续生成帧的RGB图像以及深度图像，将得到的图像数据传给数据分析模块，其中Azure Kinect相机与Jeston Nano设备使用数据线进行连接，通过Jetson Nano预置好的系统查看摆放位置是否拍到了人像清晰的图像。
3、将收集到的图像数据在数据分析模块上进行图像的对齐分割预处理；
对采集的RGB图像以及像素一一对应的深度图像进行图像切割，手动缩小图像处理范围。然后利用深度图像判断背景阈值，以提高图像分割的效率。最后再融合一种合适的图像分割算法实现图像分割。
本实施例中通过使用基于高斯混合模型算法的图像分割方法对图像进行对齐分割预处理，高斯混合模型算法即为GMM，GMM是指具有如下形式的概率分布模型：
Figure BDA0002597718320000051
其中，αk是系数，
Figure BDA0002597718320000052
φ(y|θk)是高斯分布密度，
Figure BDA0002597718320000053
Figure BDA0002597718320000054
称为第k个分模型；
利用EM算法实现高斯混合模型的应用，其输入是观测数据y1,y2,...,yN以及高斯混合模型，输出是高斯混合模型参数。
对齐分割预处理的具体步骤如下：
A1：取模型参数的初始值开始迭代；
A2：E步：依据当前模型参数，计算分模型k对观测数据yj的响应度；
Figure BDA0002597718320000061
A3：M步：计算新一轮迭代的模型参数；
Figure BDA0002597718320000062
Figure BDA0002597718320000063
Figure BDA0002597718320000064
利用EM算法实现高斯混合模型的应用，其输入是观测数据y1,y2,...,yN以及高斯混合模型，输出是高斯混合模型参数。
A4：重复步骤A2和A3，直至收敛。
S3：在数据分析模块上针对预处理完成的图像，利用引入注意力机制的深度卷积神经网络(CNN)实现驾驶行为的多分类识别：
首先使用卷积神经网络实现包括接听电话、俯身捡拾物品、乘客不规范行为等多分类行为识别，然后如图2所示，卷积神经网络依次包括输入层、卷积层、池化层、全连接层F1、全连接层F2和输出层，利用此卷积神经网络，使用乘驾图像作为输入图像并将其划分为4个通道，分别为R、G、B和Depth；然后分别送入卷积层进行卷积操作，经过卷积操作的通道信息再经过一个激活函数ReLu就得到了卷积层的输入；将卷积层的输入进行最大池化处理，以提取出最明显的特征；最后再经过全连接层F1和全连接层F2，通过输出层输出多分类识别结果。
S4：根据Jetson Nano上的分类识别结果，对驾驶行为进行识别：
若为危险驾驶行为，例如接打电话，捡拾物品，与同乘人员聊天等，则将信号传至警报系统，通过语音模块发出声音报警；
若驾驶员做出的是安全行为，但是系统识别为危险行为并且亮起红灯发出警报，则通过点击边缘设备上的按钮，将该深度图片所示的行为标记为安全行为，通过JetsonNano设备的深度学习能力逐步完善系统的识别准度。
本实施例中对卷积神经网络进行了改进，将注意力机制(Attention mechanism)引入传统的CNN能够在一定程度上提高网络的关键特征提取能力。注意力机制能够理解为从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。
Squeeze-and-Excitation Networks(简称SENet)是2017年提出的一种网络结构，其核心思想在于通过网络根据loss去学习特征权重(类似于注意力机制)，以达到更好的结果。
本实施例中深度卷积神经网络经历过模型训练与评估，其具体的训练与评估过程为：
B1：参数初始化。神经网络的收敛结果很大程度取决于参数的初始化，理想的参数初始化方案使得模型训练事半功倍，不好的初始化方案不仅会影响网络收敛效果，甚至会导致梯度弥散或梯度爆炸。选用随机初始化方法，手动设置初始化参数，选择均匀分布与高斯分布的概率分布进行参数初始化。
B2：CNN的前向传播。定义参数：卷积核个数、卷积核尺寸、填充padding以及步长stride进行卷积层与激活层的前向传播。定义池化尺寸k以及池化方式Max/Average对输入进行成倍缩小。选用激活函数Sigmoid并定义神经元个数。
B3：CNN的反向传播。反向传播旨在得到最优的全局参数矩阵，进而将多层神经网络应用到分类或者回归任务中去。前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵。
B4：进行参数微调。准备训练数据和测试数据，并进行预处理；复用相同层次的参数，新的层参数取随机初始值；调整学习率和步长等参数，增大新层的学习率、减小复用层的学习率；修改最后几层的参数，并增大学习率。这样避免出现过拟合，使模型收敛到理想状态。
本实施例中深度卷积神经网络经历过边缘系统设计，其具体设计过程为：
C1：Jetson Nano Developer Kit的配置。为Jetson Nano套件配置相应的内存卡，键鼠，5V2A直流电源等硬件，官网下载系统镜像并进行写入系统镜像。按下电源，绿色指示灯亮起后，进行设置，配置系统完毕。
C2：连接Jetson Nano与Azure Kinect设备，下载libdepthengine.so.1.0后，放置/usr/lib/x86_64-linux-gnu/文件夹中，编译完成开启k4aviewer获取深度视频流。
C3：应用已经搭建好的模型，布署在Jetson Nano设备上，获取深度视频流并逐帧获取图，应用已有的model进行实时多分类，当判断为危险行为，如打电话发短信等行为时，应用单片机蜂鸣器与LED的应用进行亮灯示警。根据实搭的效果进行原模型的调优，收集更多的训练数据降低过拟合，降低原模型的复杂度，降低特征的数量，不断优化性能。
本实施例中的卷积神经网络与传统的卷积神经网络相比，能够通过三个操作来重标定前面得到的特征，具体为：
(1)Squeeze操作：顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。
(2)Excitation操作：它是一个类似于循环神经网络中门的机制。通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性。
(3)Reweight操作：将Excitation的输出的权重看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上对原始特征的重标定。
CNN的可视化能够告诉我们CNN的每一层学习到了何种特征。通过可视化技术对网络结构进行调整，能够更有效率的优化网络模型。本实施例中通过使用Deconvnet技术来实现可视化，能够使得网络模型的修改更有指向性。Deconvnet技术具体包括以下三步：
(1)反池化：把池化过程中最大激活值所在的位置坐标的值激活，其它的值置为0。
(2)反激活：反激活过程和激活过程没有什么差别，都是直接采用ReLU函数。
(3)反卷积：反卷积可视化以各层得到的feature map作为输入，进行反卷积，得到反卷积结果，用以验证可视化各层提取到的特征图。

Claims (10)

1.一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：包括具有生成深度图像功能的相机以及数据分析模块，所述数据分析模块包括具有边缘计算功能的终端设备和用于提醒播报的语音模块，所述相机用于采集驾驶员的三维空间信息，所述终端设备用于根据采集到的驾驶员的三维空间信息分析判断驾驶行为。
2.根据权利要求1所述的一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：所述相机包括发光器件、光源驱动器、接收镜头、TOF传感芯片、TOF芯片驱动器和TOF主控器，所述光源驱动器控制发光器件发光，使发光器件发出调制光信号；所述接收镜头用于接收调制光信号；所述接收镜头能够接收到调制光照射驾驶员反射回来的回波信号，并将回波信号汇聚在TOF传感芯片上；所述TOF传感芯片接收汇聚的回波信号，并将光信号转换为电信号；所述TOF芯片驱动器接收TOF传感芯片转换的电信号，并将电信号进行处理；所述TOF主控器与光源驱动器和TOF芯片驱动器分别连接，根据光信号发出与接收之间的时间差异，计算出驾驶员所在空间的距离信息。
3.根据权利要求1或2所述的一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：所述相机为Azure Kinect相机。
4.根据权利要求1所述的一种基于深度学习的驾驶行为分析识别警示系统，其特征在于：所述相机摆放于驾驶室正前上方或侧前上方，用于检测所在位置的三维空间信息，检测的视场范围覆盖驾驶员的头部，躯干以及方向盘位置。
5.一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：包括如下步骤：
S1：利用相机采集持续生成帧的RGB图像以及深度图像，将得到的图像数据传给数据分析模块；
S2：将收集到的图像数据在数据分析模块上进行图像的对齐分割预处理；
S3：在数据分析模块上针对预处理完成的图像，利用引入注意力机制的深度卷积神经网络实现驾驶行为的多分类识别；
S4：根据识别结果，针对危险驾驶行为进行警示，通过语音模块发出警报提醒。
6.根据权利要求5所述的一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：所述步骤S2中通过使用基于高斯混合模型算法的图像分割方法对图像进行对齐分割预处理，高斯混合模型算法即为GMM，GMM是指具有如下形式的概率分布模型：
Figure FDA0002597718310000011
其中，αk是系数，αk≥0,
Figure FDA0002597718310000012
φ(y|θk)是高斯分布密度，
Figure FDA0002597718310000013
Figure FDA0002597718310000021
称为第k个分模型；
利用EM算法实现高斯混合模型的应用，其输入是观测数据y1,y2,...,yN以及高斯混合模型，输出是高斯混合模型参数。
7.根据权利要求6所述的一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：所述步骤S2中对齐分割预处理的具体步骤如下：
A1：取模型参数的初始值开始迭代；
A2：E步：依据当前模型参数，计算分模型k对观测数据yj的响应度；
Figure FDA0002597718310000022
A3：M步：计算新一轮迭代的模型参数；
Figure FDA0002597718310000023
Figure FDA0002597718310000024
Figure FDA0002597718310000025
其中，M步涉及的三个公式为分别记算每个高斯的均值，方差，比重三个参数。
A4：重复步骤A2和A3，直至收敛。
8.根据权利要求5所述的一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：所述步骤S3中驾驶行为的多分类识别过程具体为：使用乘驾图像作为输入图像并将其划分为4个通道，分别为R、G、B和Depth，然后分别送入卷积层进行卷积操作，经过卷积操作的通道信息再经过一个激活函数ReLu得到卷积层的输入，将卷积层的输入进行最大池化处理，提取出最明显的特征，最后再经过两个全连接层实现多分类行为识别。
9.根据权利要求5所述的一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：所述步骤S3中深度卷积神经网络经历过模型训练与评估，其具体的训练与评估过程为：
B1：参数初始化：
选用随机初始化方法，手动设置初始化参数，选择均匀分布与高斯分布的概率分布进行参数初始化；
B2：CNN的前向传播：
定义参数：卷积核个数、卷积核尺寸、填充padding以及步长stride进行卷积层与激活层的前向传播；定义池化尺寸k以及池化方式Max/Average对输入进行成倍缩小；选用激活函数Sigmoid并定义神经元个数；
B3：CNN的反向传播：
前向传递输入信号直至输出产生误差，反向传播误差信息更新权重矩阵；
B4：进行参数微调：
准备训练数据和测试数据，并进行预处理；复用相同层次的参数，新的层参数取随机初始值；调整参数，增大新层的学习率、减小复用层的学习率；修改最后几层的参数，并增大学习率。
10.根据权利要求5所述的一种基于深度学习的驾驶行为分析识别警示方法，其特征在于：所述步骤S3中深度卷积神经网络经历过边缘系统设计，其具体设计过程为：
C1：JetsonNano Developer Kit的配置：
为Jetson Nano套件配置相应的硬件，官网下载系统镜像并进行写入系统镜像，进行设置，配置系统完毕；
C2：连接Jetson Nano与Azure Kinect设备，下载libdepthengine.so.1.0后，放置/usr/lib/x86_64-linux-gnu/文件夹中，编译完成开启k4aviewer获取深度视频流；
C3：应用已经搭建好的模型，布署在Jetson Nano设备上，获取深度视频流并逐帧获取图，应用已有的model进行实时多分类，当判断为危险行为，应用单片机蜂鸣器与LED的应用进行亮灯示警，根据实搭的效果进行原模型的调优，收集更多的训练数据降低过拟合，降低原模型的复杂度，降低特征的数量，不断优化性能。
CN202010714640.4A 2020-07-23 2020-07-23 基于深度学习的驾驶行为分析识别警示系统及其识别方法 Pending CN111968338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010714640.4A CN111968338A (zh) 2020-07-23 2020-07-23 基于深度学习的驾驶行为分析识别警示系统及其识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010714640.4A CN111968338A (zh) 2020-07-23 2020-07-23 基于深度学习的驾驶行为分析识别警示系统及其识别方法

Publications (1)

Publication Number Publication Date
CN111968338A true CN111968338A (zh) 2020-11-20

Family

ID=73362565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010714640.4A Pending CN111968338A (zh) 2020-07-23 2020-07-23 基于深度学习的驾驶行为分析识别警示系统及其识别方法

Country Status (1)

Country Link
CN (1) CN111968338A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637420A (zh) * 2020-12-02 2021-04-09 众安在线财产保险股份有限公司 一种驾驶行为的识别方法、装置及计算机系统
CN112706777A (zh) * 2020-12-28 2021-04-27 东软睿驰汽车技术（沈阳）有限公司 一种车辆工况调整用户驾驶行为的方法及装置
CN112908034A (zh) * 2021-01-15 2021-06-04 中山大学南方学院 一种智能公交安全驾驶行为辅助督导系统及控制方法
CN114120634A (zh) * 2021-11-03 2022-03-01 暨南大学 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质
CN115082840A (zh) * 2022-08-16 2022-09-20 之江实验室 基于数据组合和通道相关性的动作视频分类方法和装置
CN115782835A (zh) * 2023-02-09 2023-03-14 江苏天一航空工业股份有限公司 一种旅客登机车自动驻车远程驾驶控制方法
CN116469086A (zh) * 2023-05-17 2023-07-21 卓振思众(广州)科技有限公司 基于人工智能的驾驶行为检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426757A (zh) * 2011-12-02 2012-04-25 上海大学 基于模式识别的安全驾驶监控系统和方法
CN205220655U (zh) * 2015-12-24 2016-05-11 北京万集科技股份有限公司 一种基于tof相机的安全驾驶警示系统
CN108053615A (zh) * 2018-01-10 2018-05-18 山东大学 基于微表情的驾驶员疲劳驾驶状态检测方法
CN109002774A (zh) * 2018-06-28 2018-12-14 清华大学天津高端装备研究院 一种基于卷积神经网络的疲劳监测装置及方法
CN109711449A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于全卷积网络的图像分类算法
US20200060910A1 (en) * 2018-08-27 2020-02-27 Careview Communications, Inc. Systems and methods for monitoring and controlling bed functions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426757A (zh) * 2011-12-02 2012-04-25 上海大学 基于模式识别的安全驾驶监控系统和方法
CN205220655U (zh) * 2015-12-24 2016-05-11 北京万集科技股份有限公司 一种基于tof相机的安全驾驶警示系统
CN108053615A (zh) * 2018-01-10 2018-05-18 山东大学 基于微表情的驾驶员疲劳驾驶状态检测方法
CN109002774A (zh) * 2018-06-28 2018-12-14 清华大学天津高端装备研究院 一种基于卷积神经网络的疲劳监测装置及方法
US20200060910A1 (en) * 2018-08-27 2020-02-27 Careview Communications, Inc. Systems and methods for monitoring and controlling bed functions
CN109711449A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于全卷积网络的图像分类算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAYCYM: "【机器学习】EM算法在高斯混合模型学习中的应用", 《CSDN》 *
吉文阳等: "《智能图像处理及应用》", 31 March 2019, 中国铁道出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637420A (zh) * 2020-12-02 2021-04-09 众安在线财产保险股份有限公司 一种驾驶行为的识别方法、装置及计算机系统
CN112706777A (zh) * 2020-12-28 2021-04-27 东软睿驰汽车技术（沈阳）有限公司 一种车辆工况调整用户驾驶行为的方法及装置
CN112706777B (zh) * 2020-12-28 2022-05-10 东软睿驰汽车技术（沈阳）有限公司 一种车辆工况调整用户驾驶行为的方法及装置
CN112908034A (zh) * 2021-01-15 2021-06-04 中山大学南方学院 一种智能公交安全驾驶行为辅助督导系统及控制方法
CN114120634A (zh) * 2021-11-03 2022-03-01 暨南大学 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质
CN115082840A (zh) * 2022-08-16 2022-09-20 之江实验室 基于数据组合和通道相关性的动作视频分类方法和装置
CN115082840B (zh) * 2022-08-16 2022-11-15 之江实验室 基于数据组合和通道相关性的动作视频分类方法和装置
CN115782835A (zh) * 2023-02-09 2023-03-14 江苏天一航空工业股份有限公司 一种旅客登机车自动驻车远程驾驶控制方法
CN115782835B (zh) * 2023-02-09 2023-04-28 江苏天一航空工业股份有限公司 一种旅客登机车自动驻车远程驾驶控制方法
CN116469086A (zh) * 2023-05-17 2023-07-21 卓振思众(广州)科技有限公司 基于人工智能的驾驶行为检测方法及装置

Similar Documents

Publication Publication Date Title
CN111968338A (zh) 基于深度学习的驾驶行为分析识别警示系统及其识别方法
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
US20210089895A1 (en) Device and method for generating a counterfactual data sample for a neural network
CN107851195B (zh) 利用神经网络进行目标检测
Anagnostopoulos et al. A license plate-recognition algorithm for intelligent transportation system applications
CN110070078B (zh) 一种基于传感器与机器视觉的酒驾检测方法及系统
CN109815814B (zh) 一种基于卷积神经网络的人脸检测方法
CN112183482A (zh) 危险驾驶行为识别方法、装置、系统及可读存储介质
CN111860316B (zh) 一种驾驶行为的识别方法、装置及存储介质
CN108154102A (zh) 一种道路交通标志识别方法
CN115690542A (zh) 一种基于改进yolov5的航拍绝缘子定向识别方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
KR102359136B1 (ko) 제스처 인식 방법 및 이를 수행하는 제스처 인식 장치
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
CN114120150A (zh) 一种基于无人机成像技术的道路目标检测方法
CN112052829B (zh) 一种基于深度学习的飞行员行为监控方法
CN110570469B (zh) 一种汽车图片角度位置的智能识别方法
CN114120634B (zh) 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质
Assefa et al. Bio-mechanical distracted driver recognition based on stacked autoencoder and convolutional neural network
CN111626186A (zh) 一种司机分心检测方法
CN114387535A (zh) 一种多模式识别系统及盲人眼镜
CN114821697A (zh) 材料光谱
CN112613394A (zh) 一种基于深度学习的驾驶员安全带检测装置及检测方法
KR102107298B1 (ko) 영상 분석 장치 및 방법
KR102260976B1 (ko) 객체 오인식 제거기 생성 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201120