CN113971797A - 一种基于动作行为特征的危险驾驶行为识别方法及系统 - Google Patents

一种基于动作行为特征的危险驾驶行为识别方法及系统 Download PDF

Info

Publication number
CN113971797A
CN113971797A CN202111473235.9A CN202111473235A CN113971797A CN 113971797 A CN113971797 A CN 113971797A CN 202111473235 A CN202111473235 A CN 202111473235A CN 113971797 A CN113971797 A CN 113971797A
Authority
CN
China
Prior art keywords
dangerous driving
driving behavior
network
natural
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111473235.9A
Other languages
English (en)
Inventor
杨晓晖
张樱己
冯志全
曲守宁
赵新勇
陈达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Mass Institute Of Information Technology
University of Jinan
Original Assignee
Shandong Mass Institute Of Information Technology
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Mass Institute Of Information Technology, University of Jinan filed Critical Shandong Mass Institute Of Information Technology
Priority to CN202111473235.9A priority Critical patent/CN113971797A/zh
Publication of CN113971797A publication Critical patent/CN113971797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明属于计算机视觉技术领域，提供了一种基于动作行为特征的危险驾驶行为识别方法及系统，该网络以CenterNet为目标检测主体，将ResNet‑50和Hourglass网络各自做了改进并结合，用作CenterNet的主干。为了提升精度和速度，在其他多个模块也都做了改进，并采集自然条件下的驾驶员危险驾驶行为数据集用于评估网络，实验部分分别做了消融实验和对比实验，证明每一个模块的改进都可以对模型性能产生积极影响。

Description

一种基于动作行为特征的危险驾驶行为识别方法及系统
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于动作行为特征的危险驾驶行为识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
汽车工业的大规模发展增强了汽车技术，使得基本可以在硬件方面确保安全，但每天仍有大量的交通事故发生，其中有25％的碰撞事故源于驾驶员的注意力不集中，如分心、疲劳等状态。其中，危险驾驶行为占有很大比重，因此，对驾驶员的驾驶行为进行监控是很有必要的。
危险驾驶行为检测侧重于驾驶过程中的驾驶员的手部行为分析，在人机交互人类行为理解和动作识别等领域有诸多应用，得到许多研究者的关注。其挑战在于，一方面，手部不像身体可以有复杂的姿势和明显特征便于识别其不同行为，且采集到的手部数据常出现外部遮挡等问题；另一方面，在驾驶环境中存在背景、光照强度变化大，汽车运动造成的图像抖动等问题，都给驾驶员手部检测和行为分析带来难度。由此可见，采集较为全面的数据、准确的驾驶员手部目标检测和正确的危险行为分类在这项研究中都至关重要。
在利用驾驶员手部进行危险驾驶行为分析研究方面，主要集中于基于传统算法、基于设备和基于深度学习的研究。基于传统算法的研究应用广泛，可以兼顾多层次宽领域的识别分类，但计算量巨大，且很难达到精准的识别效果。基于设备的方法可以准确的分辨不同动作间的细微区别，且速度快，应用场景广泛。但由于是侵入式设备，在实际使用过程中对使用者的正常行为会有一定的影响，因此在需要保障安全的驾驶环境中基本不考虑这种方法。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供种一种基于动作行为特征的危险驾驶行为识别方法及系统，该系统综合考虑驾驶员的手部、手里拿的东西和相应的动作作为特征输入到目标检测网络中进行危险驾驶行为识别，实现了对驾驶员是否处于危险驾驶状态的判断，关键技术体现在将ResNet-50和Hourglass分别作了处理并结合，共同作为CenterNet的主干使用。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于动作行为特征的危险驾驶行为识别方法，包括如下步骤：
获取驾驶员驾驶过程中的待识别的自然危险驾驶行为视频；
将待识别的自然危险驾驶行为视频进行预处理得到待识别的自然危险驾驶行为图像；
将预处理后的待识别的自然危险驾驶行为图像输入至训练好的危险驾驶行为检测模型中，获取驾驶员危险驾驶行为识别结果；其中，所述危险驾驶行为检测模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet-50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
本发明的第二个方面提供一种基于动作行为特征的危险驾驶行为识别系统，包括：
数据获取模块，被配置为：获取驾驶员驾驶过程中的待识别的自然危险驾驶行为视频；
数据预处理模块，被配置为：将待识别的自然危险驾驶行为视频进行预处理得到待识别的自然危险驾驶行为图像；
危险驾驶行为识别模块，被配置为：将预处理后的待识别的自然危险驾驶行为图像输入至训练好的危险驾驶行为检测模型中，获取驾驶员危险驾驶行为识别结果；其中，所述危险驾驶行为检测模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet-50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于动作行为特征的危险驾驶行为识别方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于动作行为特征的危险驾驶行为识别方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明通过分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合，实现将好的特征结合，同时去掉不好的特征，达到更好的识别和分类效果。
本发明将ResNet-50和Hourglass分别作了处理并将特征图结合，共同作为CenterNet的主干使用。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是危险驾驶行为识别网络结构示意图；
图2(a)-图2(b)是采集数据的行车记录仪放置位置；
图3(a)-图3(j)是驾驶员危险驾驶行为数据示例；
图4(a)-图4(b)是HAR-Net的网络表现；
图5(a)-图5(e)是HAR-Net中各类别的AP表现；
图6(a)-图6(f)是HAR-Net危险驾驶行为识别结果图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种基于动作行为特征的危险驾驶行为识别方法，包括：
S1：获取待识别的自然危险驾驶行为图像；
如图2(a)-图2(b)所示，分别在方向盘右上方和副驾驶右侧玻璃处安装行车记录仪，所述行车记录仪用于采集驾驶行为图像；
在实验阶段，分别采集14个驾驶员的驾驶行为视频，包括5位女生和9位男生，年龄在17-22岁之间，驾龄在1年到5年不等。
驾驶员的动作包括打电话、吸烟、玩手机、喝水和吃东西五种，其中，打电话动作包括左手打电话和右手打电话两种动作；吸烟动作包括左手吸烟、右手吸烟、左手持烟操纵方向盘、右手持烟操纵方向盘、左手窗口弹烟灰和右手窗口弹烟灰六个动作；玩手机动作包括左手持手机和右手持手机两种；喝水动作包括左手喝水、右手喝水、左手持水瓶操纵方向盘和右手持水瓶操纵方向盘四种；吃东西动作使用比较明显的食物采集，主要动作包括左手吃东西、右手吃东西、左手持食物操纵方向盘和右手持食物操纵方向盘。
采集数据时的驾驶环境主要在白天，包括阴暗环境和复杂的高光环境。
S2：将待识别的自然危险驾驶行为图像进行预处理；
如图3(a)-图3(j)所示，对采集后的视频进一步筛选，然后将每一帧视频转化成图片保存，将保存好的图片分类，相同的驾驶行为划为一组，使用LabelImg标注工具对数据进行标注，得到文本格式的文件作为该数据集的真实值使用。
在实验阶段，训练集和测试集的比例约为4:1，其中，训练集71826张数据，测试集17919张数据，且两部分数据无交叉。
S3：将预处理后的待识别的自然危险驾驶行为图像输入至训练好的危险驾驶行为检测模型中，获取驾驶员危险驾驶行为识别结果；
其中，所述危险驾驶行为检测模型采用CenterNet网络，所述CenterNet网络包括Hourglass网络和ResNet-50网络；每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。通过将两个网络的提取的特征图结合，相当于将好的特征结合，同时去掉不好的特征，达到更好的识别和分类效果，将这种网络命名为HAR-Net。
S301：所述Hourglass网络的构建过程包括：所述Hourglass网络中采用扩张卷积，加入DCM(Dilated Hourglass Modules)结构，其设计目标是为了充分利用不同层次的特征，减少信息损失。传统的方法倾向于采用上下采样来扩展感知域并获得更高级别的特征。但这种上下采样的结构通常会导致信息和分辨率的丢失，这会对确定目标的精确位置产生极大影响。因此，采用扩张卷积来构建基本模块。
其中，一个DCM由三层组成，包括两个普通卷积层，两个普通卷积层之间添加一个扩张卷积层，其中还有一个跨过扩张卷积层的跳跃连接，用于连接第一个普通卷积层和第三个普通卷积层。所述跳跃连接用于传播从第一个普通卷积层提取的特征信息，所述通过扩张卷积层和跳跃连接得到的由整个DCM模块输出的特征映射被逐像素地添加，生成的特征映射输入到第二个普通卷积层。
实验阶段，这三层的内核大小都是3，扩张卷积层的扩张率为2。在跳跃连接中，采用了1×1的卷积来实现跨通道信息交互和集成，且不需要过多的卷积核参数。
上述方案的优点在于，通过改进的Hourglass网络即用DCM代替了残差模块，从而减少了子采样的时间，减少了信息丢失。因此，采用扩展卷积来构建基本模块，该模块能够在保持分辨率不变的情况下扩大感受野。
S302：对ResNet-50网络的下采样层的卷积核大小和步长修改，同时增加平均池化层；
现有ResNet-50网络的结构中，在下采样部分分为两个路径，称其为路径A和路径B。路径A使用了1×1的卷积核，步长为2，因此会忽略四分之三的特征信息，同样，路径B中的卷积层也忽略了四分之三的特征信息。基于以上问题，对ResNet-50网络的结构的下采样层进行了改进，修改卷积核的大小和步长；
A路径中修改两个卷积层的步长，把卷积核为3×3的步长设为2，其余卷积层设置为1。
B路径也做了改进，把卷积层的步长设为1，并在卷积层前加一个2×2，步长为2的平均池化。
S303：分别在ResNet-50和Hourglass两个网络中分别添加注意力机制模块SENet(Squeeze-and-Excitation-Network)，其核心思想在于根据损失值去学习特征权重，使得有效的特征图权重大，无效或效果小的特征图权重小，用这种方式训练模型以达到更好的结果。
S304：融合Hourglass网络和ResNet-50网络的输出结果；
所述Hourglass网络和ResNet-50网络的融合方法包括Loss值结合法和特征图结合法；
方法一：在Loss值结合中，通过ResNet-50和Hourglass网络提取特征后得到相应的Loss值并结合，Loss值代表的就是模型输出与真实结果之间的距离；
结合公式为：
L＝L1+L2 (1)
其中，L为整个CenterNet网络结合后的Loss值，L1和L2分别为通过ResNet-50和Hourglass的Loss值。
基于Loss值结合的方法是最基础的结合方式，即使数据并行通过ResNet-50和Hourglass网络提取特征后得到相应的Loss值并结合，可以产生1+1>2的效果。
方法二：特征图结合，如图1所示,将这种网络命名为HAR-Net。
Hourglass最后一层输出第一特征图，ResNet-50最后一层输出第二特征图；
根据第一特征图的大小对第二特征图进行填充；
将第一特征图和填充后的第二特征图融合，将融合后的特征图作为网络的整体特征图，输出网络整体的特征图用于检测和识别。
例如，我们输入模型的数据大小为512×512，Hourglass最后一层输出的特征图A大小也是512×512，而ResNet-50最后一层输出的特征图B大小只有16×16，因此要先把特征图B填充为512×512；
ResNet-50随着网络层数的增加会丢失大量的信息，因此特征图的尺寸就会降低，在这种情况下，要想使两个网络的特征图结合首先就要对ResNet-50最后一层输出的特征图进行填充。
特征图结合方法比Loss值结合方法的优势在于，这种方法不是单纯将两个网络的结果结合，而是将两个网络的提取的特征图结合，相当于将好的特征结合，同时去掉不好的特征，达到更好的识别和分类效果。
为了提升处理的速度，本发明在上述特征图结合的基础上，改进了最后的Loss函数，提出共同使用SoftMax Loss和Center Loss，利用SoftMax Loss来分开不同类别，再利用Center Loss来压缩同一类别，最终进行鉴别分类。
其中，所述SoftMax Loss函数包括SoftMax和Cross-Entropy Loss，公式如下：
Figure BDA0003389259120000091
其中，L是损失，Sj是SoftMax的输出向量S的第j个值，表示的是这个样本属于第j个类别的概率，j的范围也是1到类别数T，因此y是一个1×T的向量，只有真实标签对应的位置的那个值是1，其他T-1个值都是0。
因此，公式(2)可以表示为：
L＝-logSj (3)
Center Loss的原理就是设置分类数个中心点，让不同类别的特征尽可能靠近各自的中心点，即希望类内距离变小、类间距离变大。公式如下：
Figure BDA0003389259120000092
其中，x指的是特征，C就是每个这个批次中每个样本对应的类别中心，它和特征x的维度一样，会随着模型训练更新。值得注意的是，在计算类别中心时，只用当前批次中某一类别的图片来获得该类别中心的更新量，即每一个类别中心的变化只用属于这个类别的图片特征来计算。
在模型中将SoftMax Loss和Center Loss联合使用，λ为loss的权重：
L＝Ls+λLc (5)
实验时，利用采集好并标注的数据以4：1分成训练集和测试集。将训练集输入到网络中训练，设置网络的类别为吃东西、喝水、打电话、玩手机和吸烟五种。
设置20个epoch作为预训练，20个epoch作为正式训练。训练结束后保存权重文件，并选取Loss值最小的权重输入到测试网络，即可对驾驶员的危险驾驶行为进行判断。
在此基础上，对网络进行了消融实验，分为原始Hourglass网络、原始ResNet-50网络、改进后的Hourglass网络、改进后的ResNet-50网络、只加入注意力机制的网络，结合后的HAR-Net，得出各部分改进都对网络起积极作用的结论。图4(a)-图4(b)为HAR-Net的网络表现。图5(a)-图5(e)为HAR-Net中各类别的AP表现。图6(a)-图6(f)为HAR-Net危险驾驶行为识别结果图。
本发明以CenterNet为目标检测主体，将ResNet-50和Hourglass网络各自做了改进并结合，用作CenterNet的主干。为了提升精度和速度，在其他多个模块也都做了改进，并采集自然条件下的危险驾驶行为数据集用于评估网络。实验部分分别做了消融实验和对比实验，证明每一个模块的改进都可以对模型性能产生积极影响。其中，HAR-Network在我们的数据集上达到了98.8％的mAP。
实施例二
本实施例提供一种基于动作行为特征的危险驾驶行为识别系统，包括：
数据获取模块，被配置为：获取驾驶员驾驶过程中的待识别的自然危险驾驶行为视频；
数据预处理模块，被配置为：将待识别的自然危险驾驶行为视频进行预处理得到待识别的自然危险驾驶行为图像；
危险驾驶行为识别模块，被配置为：将预处理后的待识别的自然危险驾驶行为图像输入至训练好的危险驾驶行为检测模型中，获取驾驶员危险驾驶行为识别结果；其中，所述危险驾驶行为检测模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet-50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于动作行为特征的危险驾驶行为识别方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于动作行为特征的危险驾驶行为识别方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，包括如下步骤：
获取驾驶员驾驶过程中的待识别的自然危险驾驶行为视频；
将待识别的自然危险驾驶行为视频进行预处理得到待识别的自然危险驾驶行为图像；
将预处理后的待识别的自然危险驾驶行为图像输入至训练好的危险驾驶行为检测模型中，获取驾驶员危险驾驶行为识别结果；其中，所述危险驾驶行为检测模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet-50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
2.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述Hourglass网络中采用扩张卷积网络，所述ResNet-50网络的下采样层的卷积核大小和步长进行了修改，同时增加平均池化层。
3.如权利要求2所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述扩张卷积网络包括两个普通卷积层和一个扩张卷积层，在所述扩张卷积层前后两个普通卷积层设置跳跃连接，所述跳跃连接用于将从第一个普通卷积层提取的特征信息传输至扩张卷积层得到特征映射，所述特征映射输入到第二个普通卷积层。
4.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述Hourglass网络和ResNet-50网络中分别添加注意力机制，所述注意力机制根据损失值去每个网络通道的特征权重。
5.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，对原始特征重标定后融合的方式采用Loss值融合法；
或，对原始特征重标定后融合的方式采用特征图融合法。
6.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述将待识别的自然危险驾驶行为视频进行预处理包括：
对采集后的视频进一步筛选，然后将每一帧视频转化成图片保存，将保存好的图片分类，相同的驾驶行为划为一组，使用LabelImg标注工具对数据进行标注，得到文本格式的文件作为该数据集的真实值使用。
7.如权利要求1所述的一种基于动作行为特征的危险驾驶行为识别方法，其特征在于，所述待识别的自然危险驾驶行为图像包括手部、手里拿的东西以及动作。
8.一种基于动作行为特征的危险驾驶行为识别系统，其特征在于，包括：
数据获取模块，被配置为：获取驾驶员驾驶过程中的待识别的自然危险驾驶行为视频；
数据预处理模块，被配置为：将待识别的自然危险驾驶行为视频进行预处理得到待识别的自然危险驾驶行为图像；
危险驾驶行为识别模块，被配置为：将预处理后的待识别的自然危险驾驶行为图像输入至训练好的危险驾驶行为检测模型中，获取驾驶员危险驾驶行为识别结果；其中，所述危险驾驶行为检测模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet-50网络，每个网络通道输出对应的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于动作行为特征的危险驾驶行为识别方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于动作行为特征的危险驾驶行为识别方法中的步骤。
CN202111473235.9A 2021-12-02 2021-12-02 一种基于动作行为特征的危险驾驶行为识别方法及系统 Pending CN113971797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111473235.9A CN113971797A (zh) 2021-12-02 2021-12-02 一种基于动作行为特征的危险驾驶行为识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111473235.9A CN113971797A (zh) 2021-12-02 2021-12-02 一种基于动作行为特征的危险驾驶行为识别方法及系统

Publications (1)

Publication Number Publication Date
CN113971797A true CN113971797A (zh) 2022-01-25

Family

ID=79590656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111473235.9A Pending CN113971797A (zh) 2021-12-02 2021-12-02 一种基于动作行为特征的危险驾驶行为识别方法及系统

Country Status (1)

Country Link
CN (1) CN113971797A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241589A (zh) * 2022-02-28 2022-03-25 深圳市城市交通规划设计研究中心股份有限公司 一种基于车载视频的公交司机违规行为判定方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241589A (zh) * 2022-02-28 2022-03-25 深圳市城市交通规划设计研究中心股份有限公司 一种基于车载视频的公交司机违规行为判定方法及装置
CN114241589B (zh) * 2022-02-28 2022-08-23 深圳市城市交通规划设计研究中心股份有限公司 一种基于车载视频的公交司机违规行为判定方法及装置

Similar Documents

Publication Publication Date Title
CN110276765B (zh) 基于多任务学习深度神经网络的图像全景分割方法
Rajendran et al. Real-time traffic sign recognition using YOLOv3 based detector
CN108229338B (zh) 一种基于深度卷积特征的视频行为识别方法
WO2022083784A1 (zh) 一种基于车联网的道路检测方法
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN109993082A (zh) 卷积神经网络道路场景分类与道路分割方法
CN109131348B (zh) 一种基于生成式对抗网络的智能车驾驶决策方法
CN110188725A (zh) 高分辨率遥感图像的场景识别系统及模型生成方法
CN109461157A (zh) 基于多级特征融合及高斯条件随机场的图像语义分割方法
CN107679462A (zh) 一种基于小波的深度多特征融合分类方法
CN112381097A (zh) 一种基于深度学习的场景语义分割方法
CN112906485A (zh) 基于改进的yolo模型的视障人士辅助障碍物感知方法
CN112036276B (zh) 一种人工智能视频问答方法
CN110781850A (zh) 道路识别的语义分割系统和方法、计算机存储介质
CN112434723B (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN112215847B (zh) 基于对抗学习多尺度特征的重叠染色体自动分割方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN113269133A (zh) 一种基于深度学习的无人机视角视频语义分割方法
CN114463545A (zh) 一种基于多通道深度加权聚合的图像语义分割算法及系统
Lu et al. Mfnet: Multi-feature fusion network for real-time semantic segmentation in road scenes
CN113971797A (zh) 一种基于动作行为特征的危险驾驶行为识别方法及系统
CN111008570A (zh) 一种基于压缩-激励伪三维网络的视频理解方法
CN108944940B (zh) 基于神经网络的驾驶员行为建模方法
CN114399661A (zh) 一种实例感知主干网络训练方法
CN113807356A (zh) 一种端到端的低能见度图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination