CN112613441A - 异常驾驶行为的识别和预警方法、电子设备 - Google Patents

异常驾驶行为的识别和预警方法、电子设备 Download PDF

Info

Publication number
CN112613441A
CN112613441A CN202011590064.3A CN202011590064A CN112613441A CN 112613441 A CN112613441 A CN 112613441A CN 202011590064 A CN202011590064 A CN 202011590064A CN 112613441 A CN112613441 A CN 112613441A
Authority
CN
China
Prior art keywords
target
face
abnormal driving
image
driving behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011590064.3A
Other languages
English (en)
Inventor
盛鹏
周有喜
乔国坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Aiwinn Information Technology Co Ltd
Original Assignee
Xinjiang Aiwinn Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Aiwinn Information Technology Co Ltd filed Critical Xinjiang Aiwinn Information Technology Co Ltd
Priority to CN202011590064.3A priority Critical patent/CN112613441A/zh
Publication of CN112613441A publication Critical patent/CN112613441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种异常驾驶行为的识别和预警方法、电子设备，包括：获取目标人员的驾驶图像；检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；根据所述位置信息关系判断目标人员的行为是否存在属于第一异常驾驶行为。通过检测出驾驶图像中目标物品和目标人体部位的位置信息，根据位置信息判断是否存在异常驾驶行为，由于驾驶过程中驾驶员的动作变化不明显，相较于直接检测图像中驾驶员的姿态动作，检测目标物品和目标人体部位的准确性更高，通过目标物品和目标人体部位之间的位置关系可以反映出驾驶员是否存在异常驾驶行为，提高了异常驾驶行为识别的有效性和效率。

Description

异常驾驶行为的识别和预警方法、电子设备
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种异常驾驶行为的识别和预警方法、电子设备。
背景技术
近年来，安全驾驶越来越多的作为公众话题被讨论，尤其是驾驶过程中的打电话和抽烟行为。打电话会分散注意力，使驾驶员应变能力减弱；驾驶员吸烟会造成车厢内空气质量下降，对乘客的健康造成危害，同样也会分散注意力。这些危险的驾驶行为造成的行车危害也给很多的家庭带来伤痛。准确高效的检测驾驶员在行车过程中的驾驶行为以及时进行提醒是一种减少由于驾驶不规范导致行车危险的行之有效的手段之一。
目前，针对现有的基于视觉的驾驶员行为识别技术，由于获取的图像均为驾驶员及车内同一视野内的区域，不同的驾驶行为具有相似的全局背景信息，但不同的驾驶行为导致的手、人脸、眼睛等不同的动作，从而具有不同的局部信息，同时还受到光照等自然环境的影响，直接对图像进行驾驶员行为识别的准确率较低。
发明内容
基于此，本发明提供一种异常驾驶行为的识别和预警方法、电子设备，以解决现有技术中异常驾驶行为识别准确率低的问题。
第一方面，提供一种异常驾驶行为的识别方法，包括：
获取目标人员的驾驶图像；
检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；
根据所述位置信息关系判断目标人员的行为是否存在属于第一异常驾驶行为。
可选的，所述目标物品包括手机和香烟，所述目标人体部位包括手部和脸部，所述根据所述位置信息关系判断目标人员的行为是否存在属于第一异常驾驶行为，包括：
根据所述位置关系判断所述目标物品与所述目标人体部位是否重叠；
当所述目标物品与所述目标人体部位重叠时，确定所述目标人员的行为属于第一异常驾驶行为。
可选的，还包括：
检测所述目标人员的人脸关键点信息；
根据所述人脸关键点信息计算所述目标人员的人脸偏转角度；
确定所述目标人员的行为属于第一异常驾驶行为当所述人脸偏转角大于预设的偏转阈值时，确定所述目标人员的行为属于第二异常驾驶行为。
可选的，还包括：
检测所述目标人员的眼部关键点的位置信息，其中，所述眼部关键点包括上关键点及下关键点；
计算所述上关键点及下关键点的距离值；
确定所述目标人员的行为属于第一异常驾驶行为当所述距离值小于预设的距离阈值时，确定所述目标人员的行为属于第三异常驾驶行为。
可选的，所述检测所述驾驶图像中目标物品与目标人体部位的位置信息，包括：
将所述驾驶图像分成预设数量的网格；
检测每个网格中至少两个目标边框的预测参数，其中，每个目标边框包含至少两个目标类别，预测参数包括目标边框中心点坐标、宽高和置信度，所述目标类别用于表示网格内容是否属于目标物品或目标人体部位；
过滤所有目标边框中置信度小于预设阈值的边框；
对保留的目标边框进行非极大值抑制处理，确定各目标类别置信度最高的目标边框的位置，作为所述位置信息。
可选的，所述检测所述目标人员的人脸关键点信息，包括：
提取所述驾驶图像中的人脸图像；
按预设的分割规则对所述人脸图像进行分割，形成若干人脸子图像；
将所述人脸图像与人脸子图像输入到预设的并行卷积神经网络模型中，获取并行卷积神经网络输出的各人脸关键点的预测位置值；根据所述预测位置值计算所述人脸关键点信息。
可选的，所述并行神经网络模型包括至少三个独立的神经网络模型，每个神经网络模型包括五层结构，其中：
第一层为输入层，用于输入图像；
第二层为卷积层，用于对输入的图像进行卷积得到特征映射；
第三层为下采样层，用于利用图像局部相关性的原理对图像进行子抽样；
第四层为BP网络层，用于对一维特征进行分类识别；
第五层为全连接层，用于输出人脸关键点的位置信息。
第二方面，提供一种异常驾驶行为的预警方法，包括：
获取目标人员的驾驶图像；
检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；
根据所述位置关系判断目标人员的行为是否属于第一异常驾驶行为；
若属于第一异常驾驶行为，则发出预警信息。
第三方面，提供一种异常驾驶行为的识别装置，包括：
获取模块，用于获取目标人员的驾驶图像；
处理模块，用于检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；
执行模块，用于根据所述位置信息关系判断目标人员的行为是否存在属于第一异常驾驶行为。
可选的，所述异常驾驶行为的识别装置，还包括：
第一判断子模块，用于根据所述位置关系判断所述目标物品与所述目标人体部位是否重叠；
第一执行子模块，用于当所述目标物品与所述目标人体部位重叠时，确定所述目标人员的行为属于第一异常驾驶行为。
可选的，所述异常驾驶行为的识别装置，还包括：
第一检测子模块，用于检测所述目标人员的人脸关键点信息；
第一计算子模块，用于根据所述人脸关键点信息计算所述目标人员的人脸偏转角度；
第二执行子模块，用于确定所述目标人员的行为属于第一异常驾驶行为当所述人脸偏转角大于预设的偏转阈值时，确定所述目标人员的行为属于第二异常驾驶行为。
可选的，所述异常驾驶行为的识别装置，还包括：
第二检测子模块，用于检测所述目标人员的眼部关键点的位置信息，其中，所述眼部关键点包括上关键点及下关键点；
第二计算子模块，用于计算所述上关键点及下关键点的距离值；
第三执行子模块，用于确定所述目标人员的行为属于第一异常驾驶行为当所述距离值小于预设的距离阈值时，确定所述目标人员的行为属于第三异常驾驶行为。
可选的，所述异常驾驶行为的识别装置，还包括：
第一分割子模块，用于将所述驾驶图像分成预设数量的网格；
第三检测子模块，用于检测每个网格中至少两个目标边框的预测参数，其中，每个目标边框包含至少两个目标类别，预测参数包括目标边框中心点坐标、宽高和置信度，所述目标类别用于表示网格内容是否属于目标物品或目标人体部位；
第一过滤子模块，用于过滤所有目标边框中置信度小于预设阈值的边框；
第四执行子模块，对保留的目标边框进行非极大值抑制处理，确定各目标类别置信度最高的目标边框的位置，作为所述位置信息。
可选的，所述异常驾驶行为的识别装置，还包括：
第一提取子模块，用于提取所述驾驶图像中的人脸图像；
第二分割子模块，用于按预设的分割规则对所述人脸图像进行分割，形成若干人脸子图像；
第一输入子模块，用于将所述人脸图像与人脸子图像输入到预设的并行卷积神经网络模型中，获取并行卷积神经网络输出的各人脸关键点的预测位置值；
第三计算子模块，根据所述预测位置值计算所述人脸关键点信息。
可选的，所述并行神经网络模型包括至少三个独立的神经网络模型，每个神经网络模型包括五层结构，其中：
第一层为输入层，用于输入图像；
第二层为卷积层，用于对输入的图像进行卷积得到特征映射；
第三层为下采样层，用于利用图像局部相关性的原理对图像进行子抽样；
第四层为BP网络层，用于对一维特征进行分类识别；
第五层为全连接层，用于输出人脸关键点的位置信息。
第四方面，提供一种电子设备，处理器及用于存储处理器可执行指令的存储器；其中，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项所述的异常驾驶行为的识别方法的步骤。
第五方面，提供一种非易失性计算机可读存储介质，所述存储介质中存储有计算机可读指令，当所述存储介质中的指令被一个或多个处理器执行时，所述一个或多个处理器执行上述任一项所述的异常驾驶行为的识别方法的步骤。
上述异常驾驶行为的识别和预警方法、电子设备，通过检测出驾驶图像中目标物品和目标人体部位的位置信息，根据位置信息判断是否存在异常驾驶行为，由于驾驶过程中驾驶员的动作变化不明显，相较于直接检测图像中驾驶员的姿态动作，检测目标物品和目标人体部位的准确性更高，通过目标物品和目标人体部位之间的位置关系可以反映出驾驶员的行为是否属于异常驾驶行为，提高了异常驾驶行为识别的有效性和效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例异常驾驶行为的识别方法的基本流程示意图；
图2为本发明实施例判断是否存在异常驾驶行为的流程示意图；
图3为本发明实施例根据人脸点判断是否存在异常驾驶行为的流程示意图；
图4为本发明实施例根据眼部关键点是否存在异常驾驶行为的流程示意图；
图5为本发明实施例检测位置信息的流程示意图；
图6为本发明实施例检测人脸关键点的流程示意图；
图7为本发明实施例异常驾驶行为的识别装置的基本结构框图；
图8为本发明实施例电子设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunicationsService，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(MobileInternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
具体地请参阅图1，图1为本实施例异常驾驶行为的识别方法的基本流程示意图。
如图1所示，一种异常驾驶行为的识别方法，包括：
S1100、获取目标人员的驾驶图像；
通过摄像头采集目标人员的驾驶图像，目标人员即驾驶员，摄像头的位置应确保至少可以采集到目标人员驾驶过程中的手部、头部等内容，例如设置在后视镜上，但不限于此。
S1200、检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；
目标物品为驾驶过程中驾驶员可能互动的一些物品，例如烟、手机、食物、水杯等，但不限于此；目标人体部位为指定的驾驶员的几个部位，例如脸部、手部等，但不限于此。具体的，位置信息可以为目标物品或部位在图像中的坐标范围，例如通过坐标区间的方式表示某一区间内的图像属于目标人员的脸部；也可以通过框图的方式，以包含该物品或部位所有内容的最小框图的位置与大小，例如以一个方框表示该方框内的内容含有目标人员的脸部等；方框的位置和大小可以通过一个基准点以及长宽值来描述，例如以方框的最左上角的点为基准点，加上长度及宽度即可在图像中限定一个方框的位置用于表示该方框包含某一个目标物品或部位。此外，目标物品和部位的位置也可以通过圆框、几何中心的位置等方式进行表示，在此不再赘述。
以目标物品包含手机和香烟，目标人体部位包括手部和脸部，目标物品和部位的位置通过方框的方式表示为例，将驾驶图像输入到已训练至收敛的对象识别模型中，根据对象识别模型的输出结果确定各目标物品和目标人体部位的位置，即本例中的手机、香烟、手部和脸部对应的方框位置，作为位置信息。
在获取到位置信息之后，根据位置信息判断目标物品和目标人体部位之间的位置关系，位置关系可以表示为距离值，或者表示为重叠、部分重叠、不相关等。
本实施例中提及的对象识别模型或目标物品/人体部位的检测方法将在后续实施例中进行详细说明。
S1300、根据所述位置信息关系判断目标人员的行为是否存在属于第一异常驾驶行为；
当目标物品和目标人体部位存在至少部分重叠时，说明驾驶员可能存在第一异常驾驶行为，例如打电话/玩手机时，脸部/手部和手机重叠；抽烟时，脸部/手部和香烟重叠；吃东西时，手部/脸部和食物重叠；喝水时，手部/脸部和水杯重叠等，但不限于此，此类异常驾驶行为都可能导致驾驶员注意力不分散，从而出现危险。
例如位置信息包括各目标物品和部位的方框时，当目标物品(如香烟或手机)与目标人体部位(如脸部或手部)的方框存在至少部分重叠时，确定目标人员的行为属于第一异常驾驶行为；又如位置信息包括目标物品和部位的位置坐标集合时，当物品(如香烟或手机)与目标人体部位(如脸部或手部)的坐标集合中存在相同的坐标范围(如某一个坐标属于香烟又属于脸部)，确定目标人员的行为属于第一异常驾驶行为。
若目标人员的行为属于第一异常驾驶行为时，发出预警信息，提醒目标人员终止当前的异常驾驶行为，预警信息可以根据实际应用场景进行设置，例如语音播报、灯光提醒、震动等，但不限于此。
在一些实施方式中，确定目标人员的行为属于第一异常驾驶行为并经过预设的时间间隔(例如5秒)，再次判断目标人员的行为是否属于第一异常驾驶行为，若两次判断都属于第一异常驾驶行为，再触发预警信息。
通过检测出驾驶图像中目标物品和目标人体部位的位置信息，根据位置信息判断是否存在异常驾驶行为，由于驾驶过程中驾驶员的动作变化不明显，相较于直接检测图像中驾驶员的姿态动作，检测目标物品和目标人体部位的准确性更高，通过目标物品和目标人体部位之间的位置关系可以反映出驾驶员的行为是否属于异常驾驶行为，提高了异常驾驶行为识别的有效性和效率。
在一些这实施方式中，所述目标物品包括手机和香烟，所述目标人体部位包括手部和脸部，如图2所示，S1300、根据所述位置信息关系判断目标人员的行为是否存在属于第一异常驾驶行为，具体包括：
S1310、根据所述位置关系判断所述目标物品与所述目标人体部位是否重叠；
具体的，位置信息包括各目标物品和部位的方框时，确定目标物品与目标人体部位(如脸部或手部)对应的各方框位置关系，根据位置关系判断各方框的位置是否存在部分重叠，若存在，确定目标物品和目标人体部位重叠；又如位置信息包括目标物品和部位的位置坐标集合时，确定物品(如香烟或手机)与目标人体部位(如脸部或手部)的坐标集合中是否存在相同的坐标范围(如某一个坐标属于香烟又属于脸部)，若存在，确定目标物品与目标人体部位重叠。
S1320、当所述目标物品与所述目标人体部位重叠时，确定所述目标人员的行为属于第一异常驾驶行为；
当目标物品和目标人体部位重叠时，可以表征目标人员可能存在的行为，例如香烟和手部/脸部重叠时，表示目标人员正在抽烟；当手机和手部重叠时，表示目标人员在玩手机；当手机和脸部重叠时，表示目标人员在打电话；因此，确定目标人员存在异常驾驶行为。
在一些实施方式中，如图3所示，还包括：
S1410、检测所述目标人员的人脸关键点信息；
本实施方式中，以人脸关键点包括左眼、右眼、鼻、左嘴角、右嘴角为例，实际应用时，人脸关键点的数量可以更多，例如可以包括左眉、右眉、左上眼皮、左下眼皮、左眼球、右上眼皮、右下眼皮、右眼球、鼻梁、鼻尖、左/右鼻孔、上/下嘴唇、下巴、左/右脸颊、左/右额头等等。
首先，将识别并提取驾驶图像中的人脸图像，对人脸图像进行特征点检测，检测的方式可以是将人脸图像输入到已训练至收敛的神经网络模型中，根据神经网络模型的输出结果确定各人脸关键点在图像中的位置，作为人脸关键点信息。本申请的人脸关键点信息的检测方法将在后续实施例中进行详细说明。
S1420、根据所述人脸关键点信息计算所述目标人员的人脸偏转角度；
在获取到人脸关键点信息后，根据人脸关键点的信息确定人脸朝向，确定人脸偏转角。具体的，可以通过各关键点之间的距离确定人脸朝向的角度，可以理解的是，当人脸向左转时，鼻与左眼/左嘴角的距离会减小，与右眼/右嘴角的距离会增大；当人脸向上抬起时，鼻与左/右眼的距离会减少，与左/右嘴角的距离会增大，因此，通过多个关键点之间的相对距离，可以测算出人脸的偏转角度，例如左眼关键点与鼻关键点之间的距离，左嘴角关键点与鼻关键点的距离等，从而确定人脸偏转的角度。由于各摄像机的拍摄角度不同，人脸关键点之间的距离值与偏转角度之间的对应关系会根据实际情况各有不同，因此，各关键点之间的距离与偏转角度的对应关系可以根据实际应用需求进行调整，在此不作限定。
本实施方式中，偏转角度为相对于正视方向的偏转角度，正视方向为目标人员正视前方正常驾驶时的人脸朝向，用于作为偏转角度的基准，偏转角度可以包括pitch(俯仰角)，yaw(偏航角)，roll(翻滚角)，其中pitch表示绕X轴(水平方向，即一个耳朵指向另一个耳朵的方向)旋转的角度，yaw表示绕Y轴(竖直方向，即颈部指向头顶的方向)旋转的角度，roll表示绕Z轴(纵深方向，即眼睛指向后脑的方向)旋转的角度。
S1430、确定所述目标人员的行为属于第一异常驾驶行为当所述人脸偏转角大于预设的偏转阈值时，确定所述目标人员的行为属于第二异常驾驶行为；
系统中设置有偏转阈值，用于判断目标人员的人脸朝向是否偏离了正常驾驶的方向，偏转阈值可以根据实际应用需求进行调整，例如30度，但不限于此。当人脸偏转角包括pitch，yaw，roll三个角度时，其中一个角度大于偏转阈值即确定目标人员的行为属于第二异常驾驶行为，第二异常驾驶行为指目标人员视线偏离正常方向。
通过检测人脸偏转角，当驾驶人员的人脸朝向(即视线)偏离正常的方向时，及时判断存在异常驾驶行为，可以增加异常驾驶行为的识别维度，有效提高异常驾驶行为的识别准确率。
在一些实施方式中，如图4所示，还包括：
S1510、检测所述目标人员的眼部关键点的位置信息，其中，所述眼部关键点包括上关键点及下关键点；
检测目标人员的眼部关键点的位置信息，位置信息包括各个眼部关键点的位置坐标，本实施方式中，眼部关键点为其中一个眼睛的各个关键点，眼部关键点包括上关键点及下关键点，例如左眼的上眼皮与下眼皮。以眼部关键点包括四个点为例，上关键点可以包括左上点(为方便描述，下称a点)，右上点(下称b点)，左下点(下称c点)，右下点(下称d点)，每个关键点的坐标值记为a(xa，ya)，b(xb，yb),c(xc，yc)，d(xd，yd)。
S1520、计算所述上关键点及下关键点的距离值；
分别计算上下两个关键点的距离，例如ac两个关键点的距离dac为：
Figure BDA0002868368420000121
同理，计算bd两个关键点的距离dbd，然后求出距离的平均值dmean为：
dmean＝(dac+dbd)/2
以各上下关键点之间距离的平均值dmean作为距离值。
S1530、确定所述目标人员的行为属于第一异常驾驶行为当所述距离值小于预设的距离阈值时，确定所述目标人员的行为属于第三异常驾驶行为；
系统中设置有距离阈值，用于判断目标人员的眼睛是否闭合，当上下关键点的距离值小于距离阈值时，从而确定目标人员的行为属于第三异常驾驶行为，第三异常驾驶行为指目标人员的眼睛为异常的闭合状态。
本实施例中采用两个上关键点(即上述的a，c)及两个下关键点(即上述的b,d)作为例子，仅为方便描述方案，在实用应用的过程中，上下关键点的选取数量可以根据实际应用需求进行调整，例如为减少计算量可以直接采用一个上关键点和一个下关键点，又如为提高距离值的精度可以选用更多的关键点数量。
在一些实施方式中，通过判断两个眼睛对应的上下关键点距离值是否均小于距离阈值，当两个眼睛对应的上下关键点距离值均小于距离阈值时才确定目标人员的行为属于第三异常驾驶行为。
通过检测目标人员的眼部关键点，计算上下关键点的距离值，可以表征目标人员的眼睛是否闭合或处于较为异常的状态，可以有效识别出对应的异常驾驶行为(例如睡觉或闭眼休息)，增加了异常驾驶行为的识别维度，提高异常驾驶行为的识别准确性。
在一些实施方式中，如图5所示，S1200、检测所述驾驶图像中目标物品与目标人体部位的位置信息，具体包括：
S1210、将所述驾驶图像分成预设数量的网格；
将驾驶图像调整为预设的大小并进行归一化处理，例如调整为448*448*3，表示横向和纵向分别有448个像素，以及红绿蓝三个通道叠加，然后将图像分成预设数量的网格，本实施例中以网格数量为7*7为例，实际应用时风格数量可以根据需求进行调整，例如需要提高检测精度时可以增加风格的数量(如9*9，但不限于此)。
S1220、检测每个网格中至少两个目标边框的预测参数，其中，每个目标边框包含至少两个目标类别，预测参数包括目标边框中心点坐标、宽高和置信度，所述目标类别用于表示网格内容是否属于目标物品或目标人体部位；
检测每个网格中至少两个目标边框的预测参数，目标边框为中心点落在该网格内的边框，目标类别为需要预测的物品种类，本实施方式中，以目标边框为两个，目标类别包括香烟、手机、手部、脸部四个为例，实际应用时目标边框和目标类别的数量和种类可以根据需求进行调整。
每个网格预测两个目标边框的预测参数和该网格属于四个目标类别的概率(为方便描述，记为pr，当网格包含该目标类别时，pr为1，不包含时pr为0)，表征的是由该网格内容属于各个目标类别的概率，具体的，预测参数包含目标边框的中心点坐标、宽高和属于目标类别的置信度，其中置信度S为pr与IOU(IntersectionoverUnion，重叠度)的乘积，由于pr取1或0，即置信度S的取值只有两种，0或IOU本身。中心点坐标的预测值是相对于图像中坐标原点(例如图像的左上角，但不限于此)的偏移值，记为(x,y)，目标边框的宽高预测值是相对于整个图像的宽与高的比例。通过上述方法对每个风格进行检测，输出对应的目标边框的预测参数。
在一个具体的实施方式中，将驾驶图像输入到预设的神经网络模型中，神经网络模型的输入层对图像进行归一化处理，处理后的图像大小固定为448*448*3，然后经过24个卷积层，对输入层处理后的图像进行卷积操作运算，实质上是提取输入层的特征信息以便后续的分类和定位处理，其中，卷积核可以设置3*3和1*1两种，使用1*1的卷积核可以降低卷积核通道的数量，减少网络产生的参数。卷积层之间还设置有池化层，在特征空间内对输入的数据进行下采样处理，即根据特征矩阵所处的空间位置，根据设置的粒度块分割特征，并在小块中计算新的特征值，替换原先块中的信息。最后一个层化层到输出层之间设置有两个全连接层，采用将特征提取出来的二维矩阵转换为维矩阵，采用将所有输入与网络参数连接运算的方式。神经网络模型的最后一层是输出层，将全连接层输出的一维向量进行分类输出，输出的特征图个数就是目标的分类数，在上述实施例中，即为7*7*(2*5+4)个一维向量，其中7*7为网格数量，2为目标边框数量，5为预测参数的数量，4为待预测的目标类别的数量。
S1230、过滤所有目标边框中置信度小于预设阈值的边框；
系统中设置有置信度阈值，用于过滤置信度较小的目标边框，以减少数据量，置信度阈值可以根据实际应用需求进行调整，例如需要留取更少的数据量时，可以提高置信度阈值的取值。
S1240、对保留的目标边框进行非极大值抑制处理，确定各目标类别置信度最高的目标边框的位置，作为所述位置信息；
对过滤之后保护的目标边框(即置信度大于置信度阈值的边框)进行非极大值抑制处理(NMS，Non-MaximumSuppression)，可以采用本领域中的NMS算法进行处理，最后输出各目标类别置信度最高的目标边框的位置，即对应各目标边框的中心点坐标及长宽，作为位置信息。
在一些实施方式中，如图6所示，S1410、检测所述目标人员的人脸关键点信息，具体包括：
S1411、提取所述驾驶图像中的人脸图像；
识别并提取目驾驶图像中的人脸图像，本实施方式中人脸图像的提取可以采用本领域中的人脸图像识别算法或模型，通过识别图像中的人脸轮廓并对图像进行截取，得到对应的人脸图像。
S1412、按预设的分割规则对所述人脸图像进行分割，形成若干人脸子图像；
预设的分割规则可以根据实际应用需求进行设置，例如将人脸图像分为上半脸图像(可能包括鼻和眼)和下半脸图像(可能包括鼻和嘴)作为人脸子图像，分割的方式可以根据人脸图像的尺寸等参数进行，例如将人脸图像中上部2/3作为上半脸图像，下部2/3作为下半脸图像等，在此不作限定。人脸子图像的数量可以根据实际需求进行调整，例如为提高人脸关键点识别的可靠性，可以增加人脸子图像的数量，如增加为上人脸图像、下人脸图像、左人脸图像、右人脸图像等，甚至更多。本实施例以人脸子图像包括上人脸图像和下人脸图像为例，人脸关键点包括左眼、右眼、鼻、左嘴角、右嘴角为例。
S1413、将所述人脸图像与人脸子图像输入到预设的并行卷积神经网络模型中，获取并行卷积神经网络输出的各人脸关键点的预测位置值；
并行神经网络模型包括至少三个独立的神经网络模型，神经网络模型的数量与输入的图像数量相对应，本实施例中，输入的图像包括人脸图像、上人脸图像及下人脸图像，因此并行神经网络中包含三个神经网络模型，通过将三个图像(人脸图像，上人脸图像，下人脸图像)分别输入到三个神经网络模型中，关联预测三个图像中各个特征点的位置，获取各个神经网络模型输出的各人脸关键点的预测位置值。
具体的，每个神经网络模型包括五层结构，其中：
第一层为输入层，用于输入图像，归一化处理为对应的大小(例如39*39像素)；
第二层为卷积层，用于对输入的图像进行卷积得到特征映射；具体的，由输入层的人脸图像经过四个能提取不同纹理细节特征的卷积核，对输入图像进行卷积得到四个特征映射。即把单一的输入图像通过多个5*5的卷积核得出多个卷积图像。
第三层为下采样层，用于利用图像局部相关性的原理对图像进行子抽样，可以减少数据处理量，同时保留图像的整体结构信息。
第四层为BP(Back Propagation)网络层，用于对一维特征进行分类识别；
第五层为全连接层，用于输出人脸关键点的位置信息。
在使用之前，将各卷积神经网络训练至收敛，训练的方式可以采用本领域中的全监督训练，在此不赘述。
S1414、根据所述预测位置值计算所述人脸关键点信息；
由于人脸图像、上人脸图像和下人脸图像对应的网络同时对关键点进行预测，分别得出的关键点位置可能存在不同，在得到各神经网络模型输出的结果后，对同一关键点的不同输出结果进行求平均值，得到特征点的位置的坐标值表达式如下：
Figure BDA0002868368420000161
其中，X为特征点的位置坐标，n为该特征点预测的数量，x1,x2…xn表示各神经网络模型输出的该特征点的预测坐标。
通过该方式得到各关键点的坐标值，作为人脸关键点信息。
为解决上述技术问题，本发明实施例还提供一种异常驾驶行为的预警方法，包括：获取目标人员的驾驶图像；检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；根据所述位置关系判断目标人员的行为是否属于第一异常驾驶行为；若属于第一异常驾驶行为，则发出预警信息。
识别第一异常驾驶行为的具体实施方式参见前述第一异常驾驶行为的识别方法。
若目标人员的行为属于第一异常驾驶行为时，发出预警信息，提醒目标人员终止当前的异常驾驶行为，预警信息可以根据实际应用场景进行设置，例如语音播报、灯光提醒、震动等，但不限于此。
其他实施方式中，若依照前述任一实施方式还识别到第二异常驾驶行为和/或第三异常行为后，也会发出预警信息。
为解决上述技术问题，本发明实施例还提供一种异常驾驶行为的识别装置。具体请参阅图7，图7为本实施异常驾驶行为的识别装置的基本结构框图。
如图7所示，异常驾驶行为的识别装置，包括：获取模块2100、处理模块2200和执行模块2300。其中，获取模块用于获取目标人员的驾驶图像；处理模块用于检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；执行模块用于根据所述位置信息关系判断目标人员的行为是否存在属于第一异常驾驶行为。
通过检测出驾驶图像中目标物品和目标人体部位的位置信息，根据位置信息判断是否存在异常驾驶行为，由于驾驶过程中驾驶员的动作变化不明显，相较于直接检测图像中驾驶员的姿态动作，检测目标物品和目标人体部位的准确性更高，通过目标物品和目标人体部位之间的位置关系可以反映出驾驶员是否存在异常驾驶行为，提高了异常驾驶行为识别的有效性和效率。
在一些实施方式中，异常驾驶行为的识别装置还包括：第一判断子模块、第一执行子模块。其中第一判断子模块用于根据所述位置关系判断所述目标物品与所述目标人体部位是否重叠；第一执行子模块用于当所述目标物品与所述目标人体部位重叠时，确定所述目标人员的行为属于第一异常驾驶行为。
在一些实施方式中，异常驾驶行为的识别装置还包括：第一检测子模块、第一计算子模块、第二执行子模块。其中，第一检测子模块用于检测所述目标人员的人脸关键点信息；第一计算子模块用于根据所述人脸关键点信息计算所述目标人员的人脸偏转角度；第二执行子模块用于确定所述目标人员的行为属于第一异常驾驶行为当所述人脸偏转角大于预设的偏转阈值时，确定所述目标人员的行为属于第二异常驾驶行为。
在一些实施方式中，异常驾驶行为的识别装置还包括：第二检测子模块、第二计算子模块、第三执行子模块。其中，第二检测子模块用于检测所述目标人员的眼部关键点的位置信息，其中，所述眼部关键点包括上关键点及下关键点；第二计算子模块用于计算所述上关键点及下关键点的距离值；第三执行子模块用于确定所述目标人员的行为属于第一异常驾驶行为当所述距离值小于预设的距离阈值时，确定所述目标人员的行为属于第三异常驾驶行为。
在一些实施方式中，异常驾驶行为的识别装置还包括：第一分割子模块、第三检测子模块、第一过滤子模块、第四执行子模块。其中，第一分割子模块用于将所述驾驶图像分成预设数量的网格；第三检测子模块用于检测每个网格中至少两个目标边框的预测参数，其中，每个目标边框包含至少两个目标类别，预测参数包括目标边框中心点坐标、宽高和置信度，所述目标类别用于表示网格内容是否属于目标物品或目标人体部位；第一过滤子模块用于过滤所有目标边框中置信度小于预设阈值的边框；第四执行子模块用于对保留的目标边框进行非极大值抑制处理，确定各目标类别置信度最高的目标边框的位置，作为所述位置信息。
在一些实施方式中，异常驾驶行为的识别装置还包括：第一提取子模块、第二分割子模块、第一输入子模块、第三计算子模块。其中，第一提取子模块用于提取所述驾驶图像中的人脸图像；第二分割子模块用于按预设的分割规则对所述人脸图像进行分割，形成若干人脸子图像；第一输入子模块用于将所述人脸图像与人脸子图像输入到预设的并行卷积神经网络模型中，获取并行卷积神经网络输出的各人脸关键点的预测位置值；第三计算子模块用于根据所述预测位置值计算所述人脸关键点信息。
在一些实施方式中，所述并行神经网络模型包括至少三个独立的神经网络模型，每个神经网络模型包括五层结构，其中：第一层为输入层，用于输入图像；第二层为卷积层，用于对输入的图像进行卷积得到特征映射；第三层为下采样层，用于利用图像局部相关性的原理对图像进行子抽样；第四层为BP网络层，用于对一维特征进行分类识别；第五层为全连接层，用于输出人脸关键点的位置信息。
为解决上述技术问题，本发明实施例还提供一种电子设备。具体请参阅图8，图8为本实施例电子设备基本结构框图。
如图8所示，电子设备的内部结构示意图。如图8所示，该电子设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该电子设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种异常驾驶行为的识别方法。该电子设备的处理器用于提供计算和控制能力，支撑整个电子设备的运行。该电子设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种异常驾驶行为的识别方法。该电子设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述异常驾驶行为的识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccessMemory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种异常驾驶行为的识别方法，其特征在于，包括：
获取目标人员的驾驶图像；
检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；
根据所述位置关系判断目标人员的行为是否属于第一异常驾驶行为。
2.如权利要求1所述的异常驾驶行为的识别方法，其特征在于，所述目标物品包括手机和香烟，所述目标人体部位包括手部和脸部，所述根据所述位置信息关系判断目标人员的行为是否存在属于第一异常驾驶行为，包括：
根据所述位置关系判断所述目标物品与所述目标人体部位是否重叠；
当所述目标物品与所述目标人体部位重叠时，确定所述目标人员的行为属于第一异常驾驶行为。
3.如权利要求1所述的异常驾驶行为的识别方法，其特征在于，还包括：
检测所述目标人员的人脸关键点信息；
根据所述人脸关键点信息计算所述目标人员的人脸偏转角度；
当所述人脸偏转角大于预设的偏转阈值时，确定所述目标人员的行为属于第二异常驾驶行为。
4.如权利要求1所述的异常驾驶行为的识别方法，其特征在于，还包括：
检测所述目标人员的眼部关键点的位置信息，其中，所述眼部关键点包括上关键点及下关键点；
计算所述上关键点及下关键点的距离值；
当所述距离值小于预设的距离阈值时，确定所述目标人员的行为属于第三异常驾驶行为。
5.如权利要求1所述的异常驾驶行为的识别方法，其特征在于，所述检测所述驾驶图像中目标物品与目标人体部位的位置信息，包括：
将所述驾驶图像分成预设数量的网格；
检测每个网格中至少两个目标边框的预测参数，其中，每个目标边框包含至少两个目标类别，预测参数包括目标边框中心点坐标、宽高和置信度，所述目标类别用于表示网格内容是否属于目标物品或目标人体部位；
过滤所有目标边框中置信度小于预设阈值的边框；
对保留的目标边框进行非极大值抑制处理，确定各目标类别置信度最高的目标边框的位置，作为所述位置信息。
6.如权利要求3所述的异常驾驶行为的识别方法，其特征在于，所述检测所述目标人员的人脸关键点信息，包括：
提取所述驾驶图像中的人脸图像；
按预设的分割规则对所述人脸图像进行分割，形成若干人脸子图像；
将所述人脸图像与人脸子图像输入到预设的并行卷积神经网络模型中，获取并行卷积神经网络输出的各人脸关键点的预测位置值；
根据所述预测位置值计算所述人脸关键点信息。
7.如权利要求6所述的异常驾驶行为的识别方法，其特征在于，所述并行神经网络模型包括至少三个独立的神经网络模型，每个神经网络模型包括五层结构，其中：
第一层为输入层，用于输入图像；
第二层为卷积层，用于对输入的图像进行卷积得到特征映射；
第三层为下采样层，用于利用图像局部相关性的原理对图像进行子抽样；
第四层为BP网络层，用于对一维特征进行分类识别；
第五层为全连接层，用于输出人脸关键点的位置信息。
8.一种异常驾驶行为的预警方法，其特征在于，包括：
获取目标人员的驾驶图像；
检测所述驾驶图像中目标物品与目标人体部位的位置信息，并根据所述位置信息获取目标物品与目标人体部位的位置关系；
根据所述位置关系判断目标人员的行为是否属于第一异常驾驶行为；
若属于第一异常驾驶行为，则发出预警信息。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的异常驾驶行为的识别方法的步骤。
10.一种非易失性计算机可读存储介质，所述存储介质中存储有计算机可读指令，当所述存储介质中的指令被一个或多个处理器执行时，所述一个或多个处理器执行如权利要求1至7中任一项所述的异常驾驶行为的识别方法的步骤。
CN202011590064.3A 2020-12-29 2020-12-29 异常驾驶行为的识别和预警方法、电子设备 Pending CN112613441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011590064.3A CN112613441A (zh) 2020-12-29 2020-12-29 异常驾驶行为的识别和预警方法、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011590064.3A CN112613441A (zh) 2020-12-29 2020-12-29 异常驾驶行为的识别和预警方法、电子设备

Publications (1)

Publication Number Publication Date
CN112613441A true CN112613441A (zh) 2021-04-06

Family

ID=75249008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011590064.3A Pending CN112613441A (zh) 2020-12-29 2020-12-29 异常驾驶行为的识别和预警方法、电子设备

Country Status (1)

Country Link
CN (1) CN112613441A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191244A (zh) * 2021-04-25 2021-07-30 上海夏数网络科技有限公司 一种驾驶员不规范行为检测方法
CN113287120A (zh) * 2021-04-09 2021-08-20 深圳市锐明技术股份有限公司 车辆驾驶环境异常监测方法、装置、电子设备和存储介质
CN113343867A (zh) * 2021-06-15 2021-09-03 广东电网有限责任公司 一种机房搬运设备检测方法、系统、设备及介质
CN113901871A (zh) * 2021-09-07 2022-01-07 武汉未来幻影科技有限公司 一种驾驶员危险动作识别方法、装置以及设备
CN113920547A (zh) * 2021-12-14 2022-01-11 成都考拉悠然科技有限公司 一种基于神经网络的手套检测方法及其系统
CN115471826A (zh) * 2022-08-23 2022-12-13 中国航空油料集团有限公司 航空加油车安全驾驶行为判别方法、装置和安全运维系统
CN116704666A (zh) * 2023-06-21 2023-09-05 合肥中科类脑智能技术有限公司 售卖方法及计算机可读存储介质、自动售卖机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110399905A (zh) * 2019-07-03 2019-11-01 常州大学 施工场景中安全帽佩戴情况的检测及描述方法
CN111661059A (zh) * 2019-03-08 2020-09-15 虹软科技股份有限公司 分心驾驶监测方法、系统及电子设备
CN112016429A (zh) * 2020-08-21 2020-12-01 高新兴科技集团股份有限公司 基于火车驾驶室场景下疲劳驾驶检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111661059A (zh) * 2019-03-08 2020-09-15 虹软科技股份有限公司 分心驾驶监测方法、系统及电子设备
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110399905A (zh) * 2019-07-03 2019-11-01 常州大学 施工场景中安全帽佩戴情况的检测及描述方法
CN112016429A (zh) * 2020-08-21 2020-12-01 高新兴科技集团股份有限公司 基于火车驾驶室场景下疲劳驾驶检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨海燕等: "基于并行卷积神经网络的人脸关键点定位方法研究", 《计算机应用研究》, vol. 32, no. 08, 31 August 2015 (2015-08-31), pages 2517 - 2519 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113287120A (zh) * 2021-04-09 2021-08-20 深圳市锐明技术股份有限公司 车辆驾驶环境异常监测方法、装置、电子设备和存储介质
WO2022213336A1 (zh) * 2021-04-09 2022-10-13 深圳市锐明技术股份有限公司 车辆驾驶环境异常监测方法、装置、电子设备和存储介质
CN113191244A (zh) * 2021-04-25 2021-07-30 上海夏数网络科技有限公司 一种驾驶员不规范行为检测方法
CN113343867A (zh) * 2021-06-15 2021-09-03 广东电网有限责任公司 一种机房搬运设备检测方法、系统、设备及介质
CN113901871A (zh) * 2021-09-07 2022-01-07 武汉未来幻影科技有限公司 一种驾驶员危险动作识别方法、装置以及设备
CN113920547A (zh) * 2021-12-14 2022-01-11 成都考拉悠然科技有限公司 一种基于神经网络的手套检测方法及其系统
CN115471826A (zh) * 2022-08-23 2022-12-13 中国航空油料集团有限公司 航空加油车安全驾驶行为判别方法、装置和安全运维系统
CN115471826B (zh) * 2022-08-23 2024-03-26 中国航空油料集团有限公司 航空加油车安全驾驶行为判别方法、装置和安全运维系统
CN116704666A (zh) * 2023-06-21 2023-09-05 合肥中科类脑智能技术有限公司 售卖方法及计算机可读存储介质、自动售卖机

Similar Documents

Publication Publication Date Title
CN112613441A (zh) 异常驾驶行为的识别和预警方法、电子设备
KR102470680B1 (ko) 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기
US11699213B2 (en) Image-capturing device and method for controlling same
US11676390B2 (en) Machine-learning model, methods and systems for removal of unwanted people from photographs
US10366300B1 (en) Systems and methods regarding 2D image and 3D image ensemble prediction models
US8363984B1 (en) Method and system for automatically cropping images
US9552622B2 (en) Method and system for automatically cropping images
US20210064871A1 (en) Apparatus and method for recognition of text information
US11176414B1 (en) Systems and methods for 3D image distification
US11068754B1 (en) Systems and methods regarding image distification and prediction models
US8855368B2 (en) Image identification device, image identification method, and recording medium
CN110929805B (zh) 神经网络的训练方法、目标检测方法及设备、电路和介质
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN111079623A (zh) 一种目标检测方法、装置及存储介质
CN112036400B (zh) 构建用于目标检测的网络的方法和目标检测方法及系统
CN110956122A (zh) 图像处理方法及装置、处理器、电子设备、存储介质
CN111401278A (zh) 安全帽识别方法、装置、电子设备及存储介质
CN110674759A (zh) 一种基于深度图的单目人脸活体检测方法、装置及设备
CN113096140A (zh) 实例分割方法及装置、电子设备及存储介质
CN110781770A (zh) 基于人脸识别的活体检测方法、装置及设备
CN113111782A (zh) 基于显著对象检测的视频监控方法及装置
CN111860316A (zh) 一种驾驶行为的识别方法、装置及存储介质
CN115641632A (zh) 一种基于分离三维卷积神经网络的人脸伪造检测方法
CN115331205A (zh) 一种云边协同的驾驶员疲劳检测系统
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination