CN114821796A - 危险驾驶行为的识别方法、装置、设备及存储介质 - Google Patents

危险驾驶行为的识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114821796A
CN114821796A CN202210481101.XA CN202210481101A CN114821796A CN 114821796 A CN114821796 A CN 114821796A CN 202210481101 A CN202210481101 A CN 202210481101A CN 114821796 A CN114821796 A CN 114821796A
Authority
CN
China
Prior art keywords
driving behavior
dangerous driving
image
dangerous
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210481101.XA
Other languages
English (en)
Inventor
曾月
李斯
杨周龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202210481101.XA priority Critical patent/CN114821796A/zh
Publication of CN114821796A publication Critical patent/CN114821796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Electromagnetism (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及图像识别技术领域，公开了一种危险驾驶行为的识别方法、装置、设备及存储介质，用于提高对危险驾驶行为的识别准确度，减少驾驶行为的监测成本。危险驾驶行为的识别方法包括：当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测；若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端。

Description

危险驾驶行为的识别方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种危险驾驶行为的识别方法、装置、设备及存储介质。
背景技术
物流运输车辆因行业性质，大多数在夜间进行发车运输，且路途较长。这对驾驶员的安全驾驶要求较高，夜间行车很容易疲劳驾驶，造成危险。同时可能存在不规范的驾驶行为，例如打电话、抽烟、玩手机等都对行车安全造成不良影响，存在安全隐患。因此需要对驾驶员的驾驶行为进行监管，避免不安全的驾驶行为，保障物流车辆运输安全。
在传统方法的研究中，研究人员主要集中在捕捉特征，包括头部姿势、眼睛凝视、面部表情、足部动力学、手部运动的生理信号，使用大量的生理传感器检测驾驶员的生理信号，如脑电图、心电图和眼电图。
采用生理传感器对驾驶员进行实时检测，虽然具有很好的监测作用，但是生理传感器的成本较高，推广起来复杂。
发明内容
本发明提供了一种危险驾驶行为的识别方法、装置、设备及存储介质，用于提高对危险驾驶行为的识别准确度，减少驾驶行为的监测成本。
本发明第一方面提供了一种危险驾驶行为的识别方法，包括：当车辆的驾驶员处于预置的检测区域时，对所述车辆进行车辆行驶检测；若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像，并对所述驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；调用预置的危险驾驶行为识别模型对所述目标驾驶行为图像进行识别，其中，所述危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；若所述目标驾驶行为图像中所述驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将所述危险驾驶提醒信息发送至提醒终端。
在一种可行的实施方式中，在所述当车辆的驾驶员处于预置的检测区域时，对所述车辆进行车辆行驶检测之前，还包括：获取多张历史危险驾驶行为图像，并对所述多张历史危险驾驶行为图像进行样本抽取，得到样本图像集；对所述样本图像集进行三元组组合，并基于注意力机制进行特征提取和分类，得到多个目标危险驾驶行为图像集；根据所述多个目标危险驾驶行为图像集基于残差网络对预设模型进行训练，生成危险驾驶行为识别模型。
在一种可行的实施方式中，所述获取多张历史危险驾驶行为图像，并对所述多张历史危险驾驶行为图像进行样本抽取，得到样本图像集，包括：获取多张历史危险驾驶行为图像，并对每张历史危险驾驶行为图像进行线性增强和裁剪，得到多张线性增强和裁剪后的历史危险驾驶行为图像；将所述多张线性增强和裁剪后的历史危险驾驶行为图像进行分类，得到多个初始危险驾驶行为图像集，每个初始危险驾驶行为图像集对应一种危险驾驶行为；在所述每个初始危险驾驶行为图像集中抽取多张样本图像，得到样本图像集。
在一种可行的实施方式中，所述对所述样本图像集进行三元组组合，并基于注意力机制进行特征提取和分类，得到多个目标危险驾驶行为图像集，包括：对所述样本图像集进行三元组组合，生成多组三元组；基于注意力机制对所述多组三元组中的每组三元组进行特征提取，并基于提取的特征计算三元组损失函数，得到多张候选危险驾驶行为图像；对所述多张候选危险驾驶行为图像进行分类，得到多个目标危险驾驶行为图像集，每个目标危险驾驶行为图像集对应一种危险驾驶行为。
在一种可行的实施方式中，所述调用预置的危险驾驶行为识别模型对所述目标驾驶行为图像进行识别，包括：通过预置的危险驾驶行为识别模型将所述目标驾驶行为图像与多张预置的危险驾驶行为图像进行匹配；若所述目标驾驶行为图像与所述多张预置的危险驾驶行为图像中的目标预置的危险驾驶行为图像匹配，则确定所述驾驶员存在危险驾驶行为；若所述目标驾驶行为图像与所述多张预置的危险驾驶行为图像未匹配，则确定所述驾驶员未存在危险驾驶行为。
在一种可行的实施方式中，所述当车辆的驾驶员处于预置的检测区域时，对所述车辆进行车辆行驶检测，包括：当车辆的驾驶员处于预置的检测区域时，获取所述车辆的发动机运行数据，所述发动机运行数据包括发动机转速；若所述发动机转速为非零，则确定所述车辆处于行驶状态；若所述发动机转速为零，则确定所述车辆处于非行驶状态。
在一种可行的实施方式中，所述若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像，并对所述驾驶行为图像进行图像增强处理，得到目标驾驶行为图像，包括：若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像；对所述驾驶行为图像进行灰度变换，生成灰度化驾驶行为图像；对所述灰度化驾驶行为图像进行直方图增强处理，得到直方图增强处理后的驾驶行为图像；对所述直方图增强处理后的驾驶行为图像进行滤波处理，生成目标驾驶行为图像。
本发明第二方面提供了一种危险驾驶行为的识别装置，包括：行驶检测模块，用于当车辆的驾驶员处于预置的检测区域时，对所述车辆进行车辆行驶检测；获取增强模块，用于若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像，并对所述驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；行为识别模块，用于调用预置的危险驾驶行为识别模型对所述目标驾驶行为图像进行识别，其中，所述危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；生成发送模块，用于若所述目标驾驶行为图像中所述驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将所述危险驾驶提醒信息发送至提醒终端。
在一种可行的实施方式中，所述危险驾驶行为的识别装置还包括：获取抽取模块，用于获取多张历史危险驾驶行为图像，并对所述多张历史危险驾驶行为图像进行样本抽取，得到样本图像集；组合分类模块，用于对所述样本图像集进行三元组组合，并基于注意力机制进行特征提取和分类，得到多个目标危险驾驶行为图像集；模型训练模块，用于根据所述多个目标危险驾驶行为图像集基于残差网络对预设模型进行训练，生成危险驾驶行为识别模型。
在一种可行的实施方式中，所述获取抽取模块具体用于：获取多张历史危险驾驶行为图像，并对每张历史危险驾驶行为图像进行线性增强和裁剪，得到多张线性增强和裁剪后的历史危险驾驶行为图像；将所述多张线性增强和裁剪后的历史危险驾驶行为图像进行分类，得到多个初始危险驾驶行为图像集，每个初始危险驾驶行为图像集对应一种危险驾驶行为；在所述每个初始危险驾驶行为图像集中抽取多张样本图像，得到样本图像集。
在一种可行的实施方式中，所述组合分类模块具体用于：对所述样本图像集进行三元组组合，生成多组三元组；基于注意力机制对所述多组三元组中的每组三元组进行特征提取，并基于提取的特征计算三元组损失函数，得到多张候选危险驾驶行为图像；对所述多张候选危险驾驶行为图像进行分类，得到多个目标危险驾驶行为图像集，每个目标危险驾驶行为图像集对应一种危险驾驶行为。
在一种可行的实施方式中，所述行为识别模块具体用于：通过预置的危险驾驶行为识别模型将所述目标驾驶行为图像与多张预置的危险驾驶行为图像进行匹配；若所述目标驾驶行为图像与所述多张预置的危险驾驶行为图像中的目标预置的危险驾驶行为图像匹配，则确定所述驾驶员存在危险驾驶行为；若所述目标驾驶行为图像与所述多张预置的危险驾驶行为图像未匹配，则确定所述驾驶员未存在危险驾驶行为。
在一种可行的实施方式中，所述行驶检测模块具体用于：当车辆的驾驶员处于预置的检测区域时，获取所述车辆的发动机运行数据，所述发动机运行数据包括发动机转速；若所述发动机转速为非零，则确定所述车辆处于行驶状态；若所述发动机转速为零，则确定所述车辆处于非行驶状态。
在一种可行的实施方式中，所述获取增强模块具体用于：若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像；对所述驾驶行为图像进行灰度变换，生成灰度化驾驶行为图像；对所述灰度化驾驶行为图像进行直方图增强处理，得到直方图增强处理后的驾驶行为图像；对所述直方图增强处理后的驾驶行为图像进行滤波处理，生成目标驾驶行为图像。
本发明第三方面提供了一种危险驾驶行为的识别设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述危险驾驶行为的识别设备执行上述的危险驾驶行为的识别方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的危险驾驶行为的识别方法。
本发明提供的技术方案中，当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测；若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端。本发明实施例中，当车辆的驾驶员处于预置的检测区域时，对车辆进行行驶检测，若车辆处于行驶状态，则获取驾驶员的驾驶行为图像并进行图像增强处理，并调用预置的危险驾驶行为识别模型对增强处理后的图像进行危险驾驶行为识别，若增强处理后的图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并发送至提醒终端，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化，提高了对危险驾驶行为的识别准确度，从而减少了驾驶行为的监测成本。
附图说明
图1为本发明实施例中危险驾驶行为的识别方法的一个实施例示意图；
图2为本发明实施例中危险驾驶行为的识别方法的另一个实施例示意图；
图3为本发明实施例中危险驾驶行为的识别方法的另一个实施例示意图；
图4为本发明实施例中危险驾驶行为的识别装置的一个实施例示意图；
图5为本发明实施例中危险驾驶行为的识别装置的另一个实施例示意图；
图6为本发明实施例中危险驾驶行为的识别设备的一个实施例示意图。
具体实施方式
本发明提供了一种危险驾驶行为的识别方法、装置、设备及存储介质，用于提高对危险驾驶行为的识别准确度，减少驾驶行为的监测成本。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中危险驾驶行为的识别方法的一个实施例包括：
101、当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测；
可以理解的是，本发明的执行主体可以为危险驾驶行为的识别装置，还可以是终端，具体此处不做限定。本发明实施例以终端为执行主体为例进行说明。
在车辆的驾驶员进入预置的检测区域之后，终端对车辆进行车辆行驶检测，当车辆处于行驶状态时，终端启动对驾驶员的驾驶行为识别，从而减少了在车辆的非行驶状态下终端对驾驶员行为的误判，同时，减少了驾驶行为的监测成本。
102、若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；
图像增强处理包括多个步骤，分别为：灰度变换、直方图增强和滤波，其中，灰度变换包括线性灰度变换和对数灰度变换，线性灰度变换是将原图像的灰度动态范围按线性关系扩展到指定范围或整个动态范围，对数灰度变换用于扩展被压缩的高值图像中的暗像素。
直方图增强是一种通过改变图像的全部或局部对比度进行图像增强的方式，其典型处理方法之一就是直方图均衡化。直方图均衡化是把原始图像中的像素灰度做某种映射变换，使变换后图像灰度的概率密度为均匀分布，即变换后的图像灰度级均匀，从而增加图像灰度的动态范围，进而提高图像的对比度。
滤波包括空间域滤波和频率域滤波，其中，空间域滤波包括平滑滤波和锐化滤波，平滑滤波用于减弱或消除图像中的噪声成分，从而提高图像的信噪比，锐化滤波用于增强图像的边缘信息，突显图像中感兴趣区域的轮廓。频率域滤波包括低通滤波和高通滤波，低通滤波抑制了反应图像边界特征的高频信息以及包括在高频中的孤立点噪声，从而起到了平滑图像去噪声的增强作用，高通滤波用于保留高频分量，从而抑制低频分量。
103、调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；
残差网络(Residual Network，ResNet)是由一系列的残差块组成，一个残差块可以表示为：xl+1＝xl+F(xl+Wl)，其中，F(xl+Wl)是残差部分，一般由两个或者三个卷积构成，xl为输入值，xl+1为输出值，l为层级数。
三元组损失需要三张输入图像和对比损失不同。一个输入的三元组(Triplet)包括一对正样本对和一对负样本对。三张图像分别命名为固定图像(Anchor)a，正样本图像(Positive)p和负样本图像(Negative)n，图像a和图像p为一对正样本对，图像a和图像n为一对负样本对，则三元组损失函数表示为：Lt＝(da,p-da,n+α)，其中，α为常量，d用于表示样本之间特征的距离，t表示图像集。
注意力机制(Attention Mechanism)使得神经网络具备专注于其输入(或特征)子集的能力，即选择特定的输入。在计算能力有限情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方式，即将计算资源分配给更重要的任务。
104、若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端。
若目标驾驶行为图像中驾驶员存在危险驾驶行为，则终端生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端，其中，危险驾驶提醒信息可以是语音提醒信息，例如，若目标驾驶行为图像中驾驶员存在危险驾驶行为，则终端生成危险驾驶提醒信息，危险驾驶提醒信息为“请注意！当前处于危险驾驶，请进行规范且安全的驾驶操作！”，终端将危险驾驶提醒信息发送至提醒终端，提醒终端播放对应的语音。从而提醒驾驶员停止当前的危险驾驶行为，并提醒驾驶员进行规范且安全的驾驶操作。
本发明实施例中，当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测，若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像，调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化，若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端，提高了对危险驾驶行为的识别准确度，从而减少了驾驶行为的监测成本。
请参阅图2，本发明实施例中危险驾驶行为的识别方法的另一个实施例包括：
201、获取多张历史危险驾驶行为图像，并对多张历史危险驾驶行为图像进行样本抽取，得到样本图像集；
具体的，(1)终端获取多张历史危险驾驶行为图像，并对每张历史危险驾驶行为图像进行线性增强和裁剪，得到多张线性增强和裁剪后的历史危险驾驶行为图像；(2)终端将多张线性增强和裁剪后的历史危险驾驶行为图像进行分类，得到多个初始危险驾驶行为图像集，每个初始危险驾驶行为图像集对应一种危险驾驶行为；(3)终端在每个初始危险驾驶行为图像集中抽取多张样本图像，得到样本图像集。
例如，终端获取多张历史危险驾驶行为图像，其中，危险驾驶行为包括打电话、发信息、触摸车机屏幕、饮酒、伸手到后面、用手摸头发或化妆、与乘客交谈和路怒，并对每张历史危险驾驶行为图像进行线性增强和裁剪，得到多张线性增强和裁剪后的历史危险驾驶行为图像，其中，线性增强用于降低图像的亮区域的亮度，提高图像的暗区域的亮度，裁剪用于将图像裁剪为预设的图像尺寸；终端将多张线性增强和裁剪后的历史危险驾驶行为图像进行分类，得到多个初始危险驾驶行为图像集，每个初始危险驾驶行为图像集对应一种危险驾驶行为；终端在每个初始危险驾驶行为图像集中抽取多张样本图像，得到样本图像集。
202、对样本图像集进行三元组组合，并基于注意力机制进行特征提取和分类，得到多个目标危险驾驶行为图像集；
具体的，(1)终端对样本图像集进行三元组组合，生成多组三元组；(2)终端基于注意力机制对多组三元组中的每组三元组进行特征提取，并基于提取的特征计算三元组损失函数，得到多张候选危险驾驶行为图像；(3)终端对多张候选危险驾驶行为图像进行分类，得到多个目标危险驾驶行为图像集，每个目标危险驾驶行为图像集对应一种危险驾驶行为。
例如，终端在样本图像集中随机选取一个样本图像Anchor(记为xa)，在xa所属初始危险驾驶行为图像集中随机选取一个样本图像Positive(记为xp)，并在与xa不同的初始危险驾驶行为图像集中随机选取一个样本图像Negative(记为xn)，即样本图像xa、样本图像xp和样本图像xn组成一组图像样本，即一组三元组，终端重复以上选取操作，得到多组三元组；终端基于注意力机制对多组三元组中的每组三元组进行特征提取，每组三元组中三个样本的特征分别表示为f(xt a)、f(xt p)、f(xt n)，三元组损失的原理就是通过不断的训练学习，使xa和xp之间的欧式距离尽可能小且xa与xn之间的欧式距离尽可能大，同时xa和xp之间的欧式距离比xa与xn之间的欧式距离小一个阈值α(常量)，即公式为：
Figure BDA0003627884500000091
其中，
Figure BDA0003627884500000092
T表示样本图像集，即三元组损失函数为：
Figure BDA0003627884500000093
其中，N为样本的总个数，[·]+表示当括号内的值小于0时损失取为0，大于0时取该值为损失值，最小化损失为：L＝dap-dan+α，其中，dap为类内距离，dan为类间距离，终端计算三元组损失函数，得到多张候选危险驾驶行为图像；终端通过支持向量机(Support Vector Machine，SVM)对多张候选危险驾驶行为图像进行分类，得到多个目标危险驾驶行为图像集，每个目标危险驾驶行为图像集对应一种危险驾驶行为。
203、根据多个目标危险驾驶行为图像集基于残差网络对预设模型进行训练，生成危险驾驶行为识别模型；
例如，多个目标危险驾驶行为图像集包括打电话图像集、发信息图像集、触摸车机屏幕图像集、饮酒图像集、伸手到后面图像集、用手摸头发或化妆图像集、与乘客交谈图像集和路怒图像集，终端根据多个目标危险驾驶行为图像集基于残差网络对预设模型进行训练，生成危险驾驶行为识别模型。
204、当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测；
具体的，(1)当车辆的驾驶员处于预置的检测区域时，终端获取车辆的发动机运行数据，发动机运行数据包括发动机转速；(2)若发动机转速为非零，则终端确定车辆处于行驶状态；(3)若发动机转速为零，则终端确定车辆处于非行驶状态。
例如，当车辆的驾驶员处于预置的检测区域时，终端获取车辆的发动机运行数据，发动机运行数据包括发动机转速，发动机转速的高低，关系到单位时间内做功次数的多少或发动机有效功率的大小，即发动机的有效功率随转速的不同而改变；若发动机转速为700r/min，则终端确定车辆处于行驶状态；若发动机转速为零，则终端确定车辆处于非行驶状态。
205、若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；
具体的，(1)若车辆处于行驶状态，则终端获取驾驶员对应的驾驶行为图像；(2)终端对驾驶行为图像进行灰度变换，生成灰度化驾驶行为图像；(3)终端对灰度化驾驶行为图像进行直方图增强处理，得到直方图增强处理后的驾驶行为图像；(4)终端对直方图增强处理后的驾驶行为图像进行滤波处理，生成目标驾驶行为图像。
例如，若车辆处于行驶状态，则终端获取驾驶员对应的驾驶行为图像，驾驶行为图像中存在安全驾驶行为或危险驾驶行为，安全驾驶行为包括双手握方向盘、目视道路前方、无抽烟、无瞌睡等等；终端对驾驶行为图像进行灰度变换，生成灰度化驾驶行为图像；终端对灰度化驾驶行为图像进行直方图增强处理，得到直方图增强处理后的驾驶行为图像；终端对直方图增强处理后的驾驶行为图像进行滤波处理，生成目标驾驶行为图像。
206、调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；
具体的，(1)终端通过预置的危险驾驶行为识别模型将目标驾驶行为图像与多张预置的危险驾驶行为图像进行匹配；(2)若目标驾驶行为图像与多张预置的危险驾驶行为图像中的目标预置的危险驾驶行为图像匹配，则终端确定驾驶员存在危险驾驶行为；(3)若目标驾驶行为图像与多张预置的危险驾驶行为图像未匹配，则终端确定驾驶员未存在危险驾驶行为。
例如，终端通过预置的危险驾驶行为识别模型将目标驾驶行为图像与多张预置的危险驾驶行为图像进行匹配；若目标驾驶行为图像中驾驶员存在打电话行为，多张预置的危险驾驶行为图像中存在目标打电话行为图像，则目标驾驶行为图像与多张预置的危险驾驶行为图像中的目标打电话行为图像匹配，即终端确定驾驶员存在危险驾驶行为；若目标驾驶行为图像中驾驶员双手握方向盘、目视道路前方且无抽烟行为，多张预置的危险驾驶行为图像中未存在双手握方向盘、目视道路前方且无抽烟行为的图像，则目标驾驶行为图像与多张预置的危险驾驶行为图像未匹配，即终端确定驾驶员未存在危险驾驶行为。
207、若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端。
例如，若目标驾驶行为图像中驾驶员存在抽烟、打电话、打瞌睡和/或与乘客交谈等危险驾驶行为，则终端生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端，其中，危险驾驶提醒信息可以是语音提醒信息，又例如，危险驾驶提醒信息为“请注意！当前处于危险驾驶，请进行规范且安全的驾驶操作！”，终端将危险驾驶提醒信息发送至提醒终端，提醒终端播放对应的语音。从而提醒驾驶员停止当前的危险驾驶行为，并提醒驾驶员进行规范且安全的驾驶操作。
本发明实施例中，当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测，若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像，调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化，若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端，提高了对危险驾驶行为的识别准确度，从而减少了驾驶行为的监测成本。
请参阅图3，本发明实施例中危险驾驶行为的识别方法的另一个实施例包括：
301、当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测；
具体的，(1)当车辆的驾驶员处于预置的检测区域时，终端获取车辆的发动机运行数据，发动机运行数据包括发动机转速；(2)若发动机转速为非零，则终端确定车辆处于行驶状态；(3)若发动机转速为零，则终端确定车辆处于非行驶状态。
例如，当车辆的驾驶员处于预置的检测区域时，终端获取车辆的发动机运行数据，发动机运行数据包括发动机转速，发动机转速的高低，关系到单位时间内做功次数的多少或发动机有效功率的大小，即发动机的有效功率随转速的不同而改变；若发动机转速为700r/min，则终端确定车辆处于行驶状态；若发动机转速为零，则终端确定车辆处于非行驶状态。
302、若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并获取驾驶员对应的语音数据；
驾驶行为图像包括驾驶员的行为和面部表情，终端根据驾驶员的行为判断驾驶员是否存在危险驾驶行为，并根据驾驶员的面部表情判断驾驶员是否存在愤怒表情，终端根据驾驶员的语音数据判断驾驶员是否处于言语辱骂状态。
303、对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；
具体的，(1)若车辆处于行驶状态，则终端获取驾驶员对应的驾驶行为图像；(2)终端对驾驶行为图像进行灰度变换，生成灰度化驾驶行为图像；(3)终端对灰度化驾驶行为图像进行直方图增强处理，得到直方图增强处理后的驾驶行为图像；(4)终端对直方图增强处理后的驾驶行为图像进行滤波处理，生成目标驾驶行为图像。
例如，若车辆处于行驶状态，则终端获取驾驶员对应的驾驶行为图像，驾驶行为图像包括驾驶员的行为和面部表情，驾驶员的行为是安全驾驶行为或危险驾驶行为，驾驶员的面部表情为吃惊、害怕、厌恶、生气、悲伤或高兴；终端对驾驶行为图像进行灰度变换，生成灰度化驾驶行为图像；终端对灰度化驾驶行为图像进行直方图增强处理，得到直方图增强处理后的驾驶行为图像；终端对直方图增强处理后的驾驶行为图像进行滤波处理，生成目标驾驶行为图像。
304、调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；
具体的，(1)终端通过预置的危险驾驶行为识别模型将目标驾驶行为图像与多张预置的危险驾驶行为图像进行匹配，并将目标驾驶行为图像与多张预置的愤怒表情图像进行匹配；(2)若目标驾驶行为图像与多张预置的危险驾驶行为图像中的目标预置的危险驾驶行为图像匹配，且与多张预置的愤怒表情图像中的目标预置的愤怒表情图像匹配，则终端确定驾驶员存在危险驾驶行为且存在愤怒表情；(3)若目标驾驶行为图像与多张预置的危险驾驶行为图像未匹配，且与多张预置的愤怒表情图像中的目标预置的愤怒表情图像匹配，则终端确定驾驶员未存在危险驾驶行为且存在愤怒表情；(4)若目标驾驶行为图像与多张预置的危险驾驶行为图像中的目标预置的危险驾驶行为图像匹配，且与多张预置的愤怒表情图像未匹配，则终端确定驾驶员存在危险驾驶行为且未存在愤怒表情；(5)若目标驾驶行为图像与多张预置的危险驾驶行为图像未匹配，且与多张预置的愤怒表情图像未匹配，则终端确定驾驶员未存在危险驾驶行为且未存在愤怒表情。
例如，终端通过预置的危险驾驶行为识别模型将目标驾驶行为图像与多张预置的危险驾驶行为图像进行匹配，并将目标驾驶行为图像与多张预置的愤怒表情图像进行匹配；若目标驾驶行为图像中驾驶员存在抽烟行为且存在眉头向下紧蹙的表情，则目标驾驶行为图像与多张预置的危险驾驶行为图像中的目标抽烟行为图像匹配，且与多张预置的愤怒表情图像中的眉头向下紧蹙图像匹配，则终端确定驾驶员存在危险驾驶行为且存在愤怒表情；若目标驾驶行为图像中驾驶员双手握方向盘、目视道路前方、无抽烟行为且存在眉头向下紧蹙的表情，则目标驾驶行为图像与多张预置的危险驾驶行为图像未匹配，且与多张预置的愤怒表情图像中的眉头向下紧蹙图像匹配，则终端确定驾驶员未存在危险驾驶行为且存在愤怒表情；若目标驾驶行为图像中驾驶员存在抽烟行为且存在嘴角上扬的表情，则目标驾驶行为图像与多张预置的危险驾驶行为图像中的目标抽烟行为图像匹配，且与多张预置的愤怒表情图像未匹配，则终端确定驾驶员存在危险驾驶行为且未存在愤怒表情；若目标驾驶行为图像中驾驶员双手握方向盘、目视道路前方、无抽烟行为且存在嘴角上扬的表情，则目标驾驶行为图像与多张预置的危险驾驶行为图像未匹配，且与多张预置的愤怒表情图像未匹配，则终端确定驾驶员未存在危险驾驶行为且未存在愤怒表情。
305、调用预置的语音检测模型对语音数据进行检测，生成语音检测结果；
具体的，(1)终端通过预置的语音检测模型对语音数据进行检测，若语音数据中存在驾驶员的语音数据和至少一个乘客的语音数据，则将至少一个乘客的语音数据进行剔除；(2)终端对驾驶员的语音数据进行识别，驾驶员的语音数据包括语句数量、声音的分贝值、语调、语速和语言类型，语言类型包括侮辱性语言和非侮辱性语言；(3)若驾驶员的语音数据中存在侮辱性语言且侮辱性语句的数量大于或等于预设侮辱性语句数量、声音的分贝值大于或等于预设愤怒声音的分贝值、语调符合预设愤怒语调或语速大于或等于预设愤怒语速，则终端确定语音检测结果为驾驶员处于言语辱骂状态；(4)若驾驶员的语音数据中未存在侮辱性语言、声音的分贝值小于预设愤怒声音的分贝值、语调未符合预设愤怒语调且语速小于预设愤怒语速，则终端确定语音检测结果为驾驶员处于非言语辱骂状态。
例如，终端通过预置的语音检测模型对语音数据进行检测，若语音数据中存在驾驶员的语音数据和至少一个乘客的语音数据，则将至少一个乘客的语音数据进行剔除；终端对驾驶员的语音数据进行识别，驾驶员的语音数据包括语句数量、声音的分贝值、语调、语速和语言类型，语言类型包括侮辱性语言和非侮辱性语言；若预设侮辱性语句数量为3，驾驶员的语音数据中存在“这个破车！”、“破司机会不会开车啊！”、“这破司机以为是在自己家客厅开车啊！”的侮辱性语言、声音的分贝值大于或等于预设愤怒声音的分贝值、语调符合预设愤怒语调或语速大于或等于预设愤怒语速，则终端确定语音检测结果为驾驶员处于言语辱骂状态；若驾驶员的语音数据中未存在侮辱性语言、声音的分贝值小于预设愤怒声音的分贝值、语调未符合预设愤怒语调且语速小于预设愤怒语速，则终端确定语音检测结果为驾驶员处于非言语辱骂状态。
可以理解的是，可以先执行步骤303、步骤304，再执行步骤305，也可以先执行步骤305，再执行步骤303、步骤304，还可以同时执行步骤303、步骤304和步骤305。
306、若目标驾驶行为图像中驾驶员存在愤怒表情和/或危险驾驶行为，且语音检测结果为驾驶员处于言语辱骂状态，则确定驾驶员处于路怒状态，并生成危险驾驶提醒信息和车辆管控措施信息，将危险驾驶提醒信息发送至提醒终端和将车辆管控措施信息发送至车辆管控终端。
危险驾驶提醒信息可以是语音提醒信息，例如，危险驾驶提醒信息为“请注意！当前处于危险驾驶，请进行规范且安全的驾驶操作！”，终端将危险驾驶提醒信息发送至提醒终端，提醒终端播放对应的语音。
车辆管控措施信息包括车窗管控措施信息、喇叭管控措施信息、灯光管控措施信息和车速管控措施信息，例如，若驾驶员处于路怒状态，终端生成车辆管控措施信息，并将车辆管控措施信息发送至车辆管控终端，车辆管控终端根据车辆管控措施信息对驾驶员两侧的车窗进行关闭并锁定，降低喇叭的音量和限制驾驶员按喇叭的频率或时长，若驾驶员按喇叭的频率大于或等于预设频率，或按喇叭的时长大于或等于预设时长，则控制喇叭不发出声音，打开双闪灯，对远光灯进行关闭并锁定，对车辆的当前车速进行限制并将当前车速降低到预设安全车速，直到驾驶员的路怒状态结束并恢复正常状态，则解除对车窗、喇叭、灯光和车速的管控。
本发明实施例中，当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测，若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像，调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化，若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端，提高了对危险驾驶行为的识别准确度，从而减少了驾驶行为的监测成本。
上面对本发明实施例中危险驾驶行为的识别方法进行了描述，下面对本发明实施例中危险驾驶行为的识别装置进行描述，请参阅图4，本发明实施例中危险驾驶行为的识别装置一个实施例包括：
行驶检测模块401，用于当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测；
获取增强模块402，用于若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；
行为识别模块403，用于调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；
生成发送模块404，用于若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端。
本发明实施例中，当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测，若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像，调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化，若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端，提高了对危险驾驶行为的识别准确度，从而减少了驾驶行为的监测成本。
请参阅图5，本发明实施例中危险驾驶行为的识别装置的另一个实施例包括：
行驶检测模块401，用于当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测；
获取增强模块402，用于若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；
行为识别模块403，用于调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；
生成发送模块404，用于若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端。
可选的，危险驾驶行为的识别装置还包括：
获取抽取模块405，用于获取多张历史危险驾驶行为图像，并对多张历史危险驾驶行为图像进行样本抽取，得到样本图像集；
组合分类模块406，用于对样本图像集进行三元组组合，并基于注意力机制进行特征提取和分类，得到多个目标危险驾驶行为图像集；
模型训练模块407，用于根据多个目标危险驾驶行为图像集基于残差网络对预设模型进行训练，生成危险驾驶行为识别模型。
可选的，获取抽取模块405具体用于：
获取多张历史危险驾驶行为图像，并对每张历史危险驾驶行为图像进行线性增强和裁剪，得到多张线性增强和裁剪后的历史危险驾驶行为图像；
将多张线性增强和裁剪后的历史危险驾驶行为图像进行分类，得到多个初始危险驾驶行为图像集，每个初始危险驾驶行为图像集对应一种危险驾驶行为；
在每个初始危险驾驶行为图像集中抽取多张样本图像，得到样本图像集。
可选的，组合分类模块406具体用于：
对样本图像集进行三元组组合，生成多组三元组；
基于注意力机制对多组三元组中的每组三元组进行特征提取，并基于提取的特征计算三元组损失函数，得到多张候选危险驾驶行为图像；
对多张候选危险驾驶行为图像进行分类，得到多个目标危险驾驶行为图像集，每个目标危险驾驶行为图像集对应一种危险驾驶行为。
可选的，行为识别模块403具体用于：
通过预置的危险驾驶行为识别模型将目标驾驶行为图像与多张预置的危险驾驶行为图像进行匹配；
若目标驾驶行为图像与多张预置的危险驾驶行为图像中的目标预置的危险驾驶行为图像匹配，则确定驾驶员存在危险驾驶行为；
若目标驾驶行为图像与多张预置的危险驾驶行为图像未匹配，则确定驾驶员未存在危险驾驶行为。
可选的，行驶检测模块401具体用于：
当车辆的驾驶员处于预置的检测区域时，获取车辆的发动机运行数据，发动机运行数据包括发动机转速；
若发动机转速为非零，则确定车辆处于行驶状态；
若发动机转速为零，则确定车辆处于非行驶状态。
可选的，获取增强模块402具体用于：
若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像；
对驾驶行为图像进行灰度变换，生成灰度化驾驶行为图像；
对灰度化驾驶行为图像进行直方图增强处理，得到直方图增强处理后的驾驶行为图像；
对直方图增强处理后的驾驶行为图像进行滤波处理，生成目标驾驶行为图像。
本发明实施例中，当车辆的驾驶员处于预置的检测区域时，对车辆进行车辆行驶检测，若车辆处于行驶状态，则获取驾驶员对应的驾驶行为图像，并对驾驶行为图像进行图像增强处理，得到目标驾驶行为图像，调用预置的危险驾驶行为识别模型对目标驾驶行为图像进行识别，其中，危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化，若目标驾驶行为图像中驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将危险驾驶提醒信息发送至提醒终端，提高了对危险驾驶行为的识别准确度，从而减少了驾驶行为的监测成本。
上面图4和图5从模块化功能实体的角度对本发明实施例中的危险驾驶行为的识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中危险驾驶行为的识别设备进行详细描述。
图6是本发明实施例提供的一种危险驾驶行为的识别设备的结构示意图，该危险驾驶行为的识别设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对危险驾驶行为的识别设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在危险驾驶行为的识别设备600上执行存储介质630中的一系列指令操作。
危险驾驶行为的识别设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的危险驾驶行为的识别设备结构并不构成对危险驾驶行为的识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种危险驾驶行为的识别设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述危险驾驶行为的识别方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述危险驾驶行为的识别方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种危险驾驶行为的识别方法，其特征在于，所述危险驾驶行为的识别方法包括：
当车辆的驾驶员处于预置的检测区域时，对所述车辆进行车辆行驶检测；
若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像，并对所述驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；
调用预置的危险驾驶行为识别模型对所述目标驾驶行为图像进行识别，其中，所述危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；
若所述目标驾驶行为图像中所述驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将所述危险驾驶提醒信息发送至提醒终端。
2.根据权利要求1所述的危险驾驶行为的识别方法，其特征在于，在所述当车辆的驾驶员处于预置的检测区域时，对所述车辆进行车辆行驶检测之前，还包括：
获取多张历史危险驾驶行为图像，并对所述多张历史危险驾驶行为图像进行样本抽取，得到样本图像集；
对所述样本图像集进行三元组组合，并基于注意力机制进行特征提取和分类，得到多个目标危险驾驶行为图像集；
根据所述多个目标危险驾驶行为图像集基于残差网络对预设模型进行训练，生成危险驾驶行为识别模型。
3.根据权利要求2所述的危险驾驶行为的识别方法，其特征在于，所述获取多张历史危险驾驶行为图像，并对所述多张历史危险驾驶行为图像进行样本抽取，得到样本图像集，包括：
获取多张历史危险驾驶行为图像，并对每张历史危险驾驶行为图像进行线性增强和裁剪，得到多张线性增强和裁剪后的历史危险驾驶行为图像；
将所述多张线性增强和裁剪后的历史危险驾驶行为图像进行分类，得到多个初始危险驾驶行为图像集，每个初始危险驾驶行为图像集对应一种危险驾驶行为；
在所述每个初始危险驾驶行为图像集中抽取多张样本图像，得到样本图像集。
4.根据权利要求2所述的危险驾驶行为的识别方法，其特征在于，所述对所述样本图像集进行三元组组合，并基于注意力机制进行特征提取和分类，得到多个目标危险驾驶行为图像集，包括：
对所述样本图像集进行三元组组合，生成多组三元组；
基于注意力机制对所述多组三元组中的每组三元组进行特征提取，并基于提取的特征计算三元组损失函数，得到多张候选危险驾驶行为图像；
对所述多张候选危险驾驶行为图像进行分类，得到多个目标危险驾驶行为图像集，每个目标危险驾驶行为图像集对应一种危险驾驶行为。
5.根据权利要求1所述的危险驾驶行为的识别方法，其特征在于，所述调用预置的危险驾驶行为识别模型对所述目标驾驶行为图像进行识别，包括：
通过预置的危险驾驶行为识别模型将所述目标驾驶行为图像与多张预置的危险驾驶行为图像进行匹配；
若所述目标驾驶行为图像与所述多张预置的危险驾驶行为图像中的目标预置的危险驾驶行为图像匹配，则确定所述驾驶员存在危险驾驶行为；
若所述目标驾驶行为图像与所述多张预置的危险驾驶行为图像未匹配，则确定所述驾驶员未存在危险驾驶行为。
6.根据权利要求1所述的危险驾驶行为的识别方法，其特征在于，所述当车辆的驾驶员处于预置的检测区域时，对所述车辆进行车辆行驶检测，包括：
当车辆的驾驶员处于预置的检测区域时，获取所述车辆的发动机运行数据，所述发动机运行数据包括发动机转速；
若所述发动机转速为非零，则确定所述车辆处于行驶状态；
若所述发动机转速为零，则确定所述车辆处于非行驶状态。
7.根据权利要求1-6中任一项所述的危险驾驶行为的识别方法，其特征在于，所述若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像，并对所述驾驶行为图像进行图像增强处理，得到目标驾驶行为图像，包括：
若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像；
对所述驾驶行为图像进行灰度变换，生成灰度化驾驶行为图像；
对所述灰度化驾驶行为图像进行直方图增强处理，得到直方图增强处理后的驾驶行为图像；
对所述直方图增强处理后的驾驶行为图像进行滤波处理，生成目标驾驶行为图像。
8.一种危险驾驶行为的识别装置，其特征在于，所述危险驾驶行为的识别装置包括：
行驶检测模块，用于当车辆的驾驶员处于预置的检测区域时，对所述车辆进行车辆行驶检测；
获取增强模块，用于若所述车辆处于行驶状态，则获取所述驾驶员对应的驾驶行为图像，并对所述驾驶行为图像进行图像增强处理，得到目标驾驶行为图像；
行为识别模块，用于调用预置的危险驾驶行为识别模型对所述目标驾驶行为图像进行识别，其中，所述危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化；
生成发送模块，用于若所述目标驾驶行为图像中所述驾驶员存在危险驾驶行为，则生成危险驾驶提醒信息，并将所述危险驾驶提醒信息发送至提醒终端。
9.一种危险驾驶行为的识别设备，其特征在于，所述危险驾驶行为的识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述危险驾驶行为的识别设备执行如权利要求1-7中任一项所述的危险驾驶行为的识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述危险驾驶行为的识别方法。
CN202210481101.XA 2022-05-05 2022-05-05 危险驾驶行为的识别方法、装置、设备及存储介质 Pending CN114821796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210481101.XA CN114821796A (zh) 2022-05-05 2022-05-05 危险驾驶行为的识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210481101.XA CN114821796A (zh) 2022-05-05 2022-05-05 危险驾驶行为的识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114821796A true CN114821796A (zh) 2022-07-29

Family

ID=82512498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210481101.XA Pending CN114821796A (zh) 2022-05-05 2022-05-05 危险驾驶行为的识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114821796A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117227740A (zh) * 2023-09-14 2023-12-15 南京项尚车联网技术有限公司 一种智能驾驶车辆的多模态感知系统及方法
CN117935177A (zh) * 2024-03-25 2024-04-26 东莞市杰瑞智能科技有限公司 基于注意力神经网络的道路车辆危险行为识别方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117227740A (zh) * 2023-09-14 2023-12-15 南京项尚车联网技术有限公司 一种智能驾驶车辆的多模态感知系统及方法
CN117227740B (zh) * 2023-09-14 2024-03-19 南京项尚车联网技术有限公司 一种智能驾驶车辆的多模态感知系统及方法
CN117935177A (zh) * 2024-03-25 2024-04-26 东莞市杰瑞智能科技有限公司 基于注意力神经网络的道路车辆危险行为识别方法及系统
CN117935177B (zh) * 2024-03-25 2024-05-28 东莞市杰瑞智能科技有限公司 基于注意力神经网络的道路车辆危险行为识别方法及系统

Similar Documents

Publication Publication Date Title
Omerustaoglu et al. Distracted driver detection by combining in-vehicle and image data using deep learning
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
CN108122556B (zh) 减少驾驶人语音唤醒指令词误触发的方法及装置
CN114821796A (zh) 危险驾驶行为的识别方法、装置、设备及存储介质
CN106682602B (zh) 一种驾驶员行为识别方法及终端
JP7259078B2 (ja) 子供状態検出方法及び装置、電子機器、記憶媒体
Sajid et al. An efficient deep learning framework for distracted driver detection
Ragab et al. A visual-based driver distraction recognition and detection using random forest
CN110879973A (zh) 一种驾驶员疲劳状态面部特征识别检测方法
CN113223560A (zh) 情绪识别方法、装置、设备及存储介质
CN110991346A (zh) 一种疑似吸毒人员识别的方法、装置及存储介质
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
KR101268520B1 (ko) 영상 인식 장치 및 방법
Rwelli et al. Gesture based Arabic sign language recognition for impaired people based on convolution neural network
Kumar Sign language recognition for hearing impaired people based on hands symbols classification
CN110263872B (zh) 训练数据处理方法及装置
CN115937949A (zh) 一种表情识别的方法、装置、电子设备及存储介质
CN111383138A (zh) 餐饮数据处理方法、装置、计算机设备和存储介质
CN111339940A (zh) 视频风险识别方法及装置
CN113326829B (zh) 视频中手势的识别方法、装置、可读存储介质及电子设备
CN115844402A (zh) 注意力预测方法、装置、电子设备及计算机可读存储介质
Tawari et al. Audio visual cues in driver affect characterization: Issues and challenges in developing robust approaches
CN112836669B (zh) 一种司机分心驾驶检测方法
CN115188395A (zh) 车内争吵处理方法、装置、电子设备和存储介质
Nakano et al. Effective feature extraction from driving data for detection of danger awareness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination