CN109543627B - 一种判断驾驶行为类别的方法、装置、及计算机设备 - Google Patents

一种判断驾驶行为类别的方法、装置、及计算机设备 Download PDF

Info

Publication number
CN109543627B
CN109543627B CN201811425677.4A CN201811425677A CN109543627B CN 109543627 B CN109543627 B CN 109543627B CN 201811425677 A CN201811425677 A CN 201811425677A CN 109543627 B CN109543627 B CN 109543627B
Authority
CN
China
Prior art keywords
image
driver
identified
driving behavior
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811425677.4A
Other languages
English (en)
Other versions
CN109543627A (zh
Inventor
宋彬
梁大卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811425677.4A priority Critical patent/CN109543627B/zh
Publication of CN109543627A publication Critical patent/CN109543627A/zh
Application granted granted Critical
Publication of CN109543627B publication Critical patent/CN109543627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别领域，特别是涉及一种判断驾驶行为类别的方法、装置、及计算机设备，所述方法包括：获取待识别图像；利用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图；利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别；输出所述驾驶行为类别。本发明使用卷积神经深度特征提取网络自动提取图像数据的深层次特征，克服了现有技术中需要使用人工先验知识来提取图像数据特征过程的过于复杂和低效的不足，特征提取更加简易、高效，同时提取的特征代表性更高；使用全卷积神经网络同时预测人体关节点和脸部特征点坐标值作为分类器的输入特征，对驾驶行为的分类更加准确。

Description

一种判断驾驶行为类别的方法、装置、及计算机设备
技术领域
本发明涉及图像识别领域，特别是涉及一种判断驾驶行为类别的方法、装置、及计算及设备。
背景技术
道路运输交通安全是社会关注的重点，驾驶员在驾驶过程中不安全的驾驶行为是影响道路交通安全的主要因素，对驾驶员在驾驶过程中的驾驶行为进行实时监控、分析、识别和预警是保障道路运输交通安全的有效方法。
现有技术都是通过视觉算法对驾驶员的驾驶行为进行识别分析，然后对不安全的驾驶行为进行预警。但是现有技术一般都是通过人工定义的目标特征模板与监测到的目标特征进行对比，人为定义的特征模板不能完全反应数据的本质特征，泛化能力较低，导致准确率不高，同时比对的过程需要进行大量的计算，降低了行为识别的效率。
由此可见，现有技术对于驾驶员不安全驾驶行为的识别存在计算量大、准确率不高的问题，需要改善。
发明内容
基于此，有必要针对上述的问题，提供一种判断驾驶行为类别的方法、装置、及计算及设备。
在其中一个实施例中，本发明提供了一种判断驾驶行为类别的方法，所述方法包括如下步骤：
获取待识别图像；
利用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图；
利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别；
输出所述驾驶行为类别。
在其中一个实施例中，本发明提供了一种判断驾驶行为类别的装置，所述装置包括：
信息获取单元，所述信息获取单元用于获取待识别图像，所述待识别图像中至少包含驾驶员身体肩部及以上的特征；
特征图提取单元，所述特征图提取单元用于利用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图；
驾驶行为分析单元，所述驾驶行为分析单元用于利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别；
信息输出单元，所述信息输出单元用于输出所述驾驶行为类别。
在其中一个实施例中，本发明还提供一种计算机设备，包括：存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述实施例所述判断驾驶行为类别的方法的步骤。
本发明实施例中的判断驾驶行为类别的方法、装置、以及计算机设备，使用卷积神经深度特征提取网络、全卷积神经网络、感知机网络三种网络结构进行联合的端到端模型，单一模型同时完成了图像特征提取、人体特征点预测和行为识别的训练与预测，克服了现有技术中图像特征提取网络与行为识别网络分离训练与多网络模型级联进行行为识别预测的复杂性，使得本发明的行为识别网络模型训练时具有整体性，预测时具有高效性的优点；使用全卷积神经网络同时预测人体关节点和脸部特征点坐标值，多特征联合作为行为识别分类器的输入特征，克服了现有技术中只使用脸部特征点或整张驾驶员监控图像提取出的特征作为驾驶员驾驶行为分类特征，特征数据较少且单一导致分类准确率不高的不足，使得本发明在驾驶员驾驶行为的分类识别结果具有更加精准的优点。
附图说明
图1为一个实施例中提供的判断驾驶行为类别的方法的实施环境图；
图2为一个实施例中提供的判断驾驶行为类别的方法的流程图；
图3为一个实施例中提供的待识别图像的坐标轴示意图；
图4为一个实施例中提供的判断驾驶行为类别的装置的结构框图；
图5为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx单元称为第二xx单元，且类似地，可将第二xx单元称为第一xx单元。
图1为一个实施例中提供的判断驾驶行为类别的方法的实施环境图，如图1所示，在该实施环境中，包括终端110、计算机设备120。
终端110用于采集待识别图像，可以是摄像头，或者是有摄像功能智能手机、平板电脑等智能设备。
计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN(Content DeliveryNetwork，内容分发网络)等基础云计算服务的云服务器。
图2示出了适于本发明实施例的一种判断驾驶行为类别的方法的步骤图，接下来以计算机设备120为主体，对所述方法的步骤做详细说明：
在步骤S201中，获取待识别图像。
在本发明实施例中，计算机设备120获取待识别图像进行识别，所述待识别图像至少应包含驾驶员肩部以上的身体特征。
在步骤S202中，利用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图。
在本发明实施例中，计算机设备120采用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图，其中，所述基于卷积神经网络的特征提取网络可以选用VGG模型，VGG模型用于对所述待识别图像进行特征提取，得到特征图。
作为本发明一种实施例，计算机设备120获取到所述待识别图像后，将所述待识别别图像输入到VGG模型中，对所述待识别图像的三个通道信息中的每个通道分别进行卷积和降采样的特征提取处理，得到指定像素的的特征图。具体的，对所述待识别图像进行处理时，可以分成多步进行，使得所述待识别图像的像素值呈梯度下降，保证特征提取的准确性。
本发明实施例通过VGG模型对待识别图像进行特征提取，简单高效，保证特征提取的准确性。
在步骤S203中，利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别。
在本发明实施例中，计算机设备120提取出所述待识别图像的特征图后，利用全卷积神经网络对所述特征图进行分析，以得到驾驶员的身体特征点在所述待识别图像中的坐标值，其中，所述驾驶员身体特征点包括驾驶员脸部特征点以及驾驶员关节点特征点，计算机设备120通过对特征图进行分析，可以得到驾驶员脸部特征点以及关节特征点在所述待识别图像中的坐标值，然后根据驾驶员脸部特征点的坐标值与驾驶员关节点坐标值之间的关系得到驾驶员的驾驶行为类别。
作为本发明一种实施例，计算机设备120提取到所述待识别图像的特征图后，将所述特征图输入值两路并行的全卷积神经网络模型中，所述全卷积神经网络模型会对所述特征图分别进行回归关节点坐标值和回归关节点间方向向量的操作，分别得到二维置信度热度图S1和二维的部分亲和域L1，每组部分亲和域编码了两个相连关节点的方向向量，再将上述二维置信度热度图S1和二维的部分亲和域L1输入到两个并行的全卷积神经网络模型中，分别得到二维置信度热度图S2和二维的部分亲和域L2，重复上述步骤4次，得到二维置信度热度图S5和二维的部分亲和域L5，通过条件约束的偶匹配算法将关节点进行连接从而精确人体关节点位置，得到人体关节点坐标值，然后将驾驶员关节点的坐标值输入到预先设定的双层感知机中，与驾驶员脸部特征点的坐标值进行对比，根据两者的位置关系判断驾驶员的驾驶行为的类别。具体的，驾驶员脸部特征点可以选用鼻子、眼睛、嘴巴、以及耳朵，当驾驶员的手出现在待识别图像中时，对驾驶员的手部关节点的坐标值与上述驾驶员脸部特征点的位置进行对比，当驾驶员的手部长时间出现在耳朵或者嘴巴旁边时，则驾驶员可能在打电话或者抽烟，则此时驾驶员的驾驶行为属于危险驾驶行为。
本发明实施例通过两路并行的全卷积神经网络对特征图进行分析，能够准确的得到驾驶员身体特征点在所述待识别图像中的坐标值，通过对多张连续图片中驾驶员的身体特征点之间的关系，能够有效判断驾驶员驾驶行为的类别。
在步骤S204中，输出所述驾驶行为类别。
在本发明实施例中，计算机设备120获取到所述驾驶员的驾驶行为信息后，会将代表驾驶员驾驶行为类别的信息输出，便于用户获取驾驶员的驾驶行为类别。
本发明实施例使用卷积神经深度特征提取网络、全卷积神经网络、感知机网络三种网络结构进行联合的端到端模型，单一模型同时完成了图像特征提取、人体特征点预测和行为识别的训练与预测，克服了现有技术中图像特征提取网络与行为识别网络分离训练与多网络模型级联进行行为识别预测的复杂性，使得本发明的行为识别网络模型训练时具有整体性，预测时具有高效性的优点；使用全卷积神经网络同时预测人体关节点和脸部特征点坐标值，多特征联合作为行为识别分类器的输入特征，克服了现有技术中只使用脸部特征点或整张驾驶员监控图像提取出的特征作为驾驶员驾驶行为分类特征，特征数据较少且单一导致分类准确率不高的不足，使得本发明在驾驶员驾驶行为的分类识别结果具有更加精准的优点。
本发明实施例提供的一种判断驾驶行为类别的方法中，利用卷积神经深度特征提取网络模型提取所述待识别图像的特征图，包括：
调整所述待识别图像的像素至第一像素大小；
对像素为所述第一像素大小的待识别图像进行至少一次的卷积操作，得到多张为第二像素大小的特征图。
在本发明实施例中，计算机设备120获取到所述待识别图像后，先将所述待识别图像的像素调整至第一像素大小，然后对所述第一像素大小的待识别图像进行至少一次的卷积操作，得到多张像素为第二像素大小的特征图。
作为本发明一种实施例，计算机设备获取到待识别图像后，将所述待识别图像调整到368×368像素的大小，将调整后的图像输入到VGG模型中，通过4次卷积操作和4次降采样操作，获取所述待识别图像的512张大小为48×48像素的特征图。具体的，在VGG的第一卷积层中，调整后的图像经过两个大小为3×3×64像素，补齐为1像素，卷积步长为1像素的卷积操作，得到64张大小为368×368像素特征图，在VGG的模型的第一降采样层中，对第一层卷积层得到的特征图用2×2像素窗口进行区域最大值采样操作，得到64张大小为184×184像素特征图，然后在VGG模型的第二层卷积层中，对第一层降采样层得到的特征图经过两个大小为3×3×128像素，补齐为1像素，卷积步长为1像素的的卷积操作，得到128张184×184像素特征图，然后在VGG模型的第二层降采样层中，对第二层卷积层得到的特征图用2×2像素窗口进行区域最大值采样操作，得到128张大小为96×96像素特征图；然后在VGG模型的第三层卷积层中，对第二层降采样层得到的128张大小为96×96像素特征图，经过四个大小为3×3×256像素、补齐为1像素，卷积步长为1像素的卷积操作，得到256张大小为96×96像素特征图；然后，在VGG模型的第三层降采样层中，对第三层得到的256张大小为96×96像素特征图，用2×2像素窗口进行区域最大值采样操作，得到256张大小为48×48像素的特征图；然后，在VGG模型的第四层卷积层中，对第三层降采样层得到的256张大小为48×48像素特征图，经过2个大小为3×3×512像素、补齐为1像素，卷积步长为1像素的卷积操作，得到512张大小为48×48像素特征图。
本发明实施例通过基于卷积神经网络的VGG模型对待识别图像进行特征提取，经过多次的卷积操作和降采样操作，将识别图像的特征用指定张数和指定像素大小的特征图表示，特征提取的过程简单、快捷，不需要依靠人工经验，且特征提取的准确度高。
本发明实施例提供的一种判断驾驶行为类别的方法中，利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别，包括：
利用两路并行的全卷积神经网络对所述特征图进行卷积操作，得到驾驶员身体特征点在所述待识别图像中的坐标值；
分析所述坐标值得到所述驾驶员的驾驶行为类别。
在本发明实施例中，计算机设备120获取到所述特征图后，利用两路并行的全卷积神经网络对所述特征图进行卷积操作，识别所述特征图中驾驶员的身体特征点信息，并获取所述驾驶员的身体特征点在所述待识别图像中的坐标值，其中，所述驾驶员的身体特征点包括驾驶员的脸部特征点信息和驾驶员的关节点特征信息，然后根据驾驶员脸部特征点的坐标值与关节点坐标值之间的关系识别出驾驶员的驾驶行为类别信息。
作为本发明一种实施例，将所述特征图输入值两路并行的全卷积神经网络模型中，所述全卷积神经网络模型会对所述特征图分别进行回归关节点坐标值和回归关节点间方向向量的操作，分别得到二维置信度热度图S1和二维的部分亲和域L1，每组部分亲和域编码了两个相连关节点的方向向量，再将上述二维置信度热度图S1和二维的部分亲和域L1输入到两个并行的全卷积神经网络模型中，分别得到二维置信度热度图S2和二维的部分亲和域L2，重复上述步骤4次，得到二维置信度热度图S5和二维的部分亲和域L5，通过条件约束的偶匹配算法将关节点进行连接从而精确人体关节点位置，得到人体关节点坐标值，然后将驾驶员关节点的坐标值输入到预先设定的双层感知机中，与驾驶员脸部特征点的坐标值进行对比，根据两者的位置关系判断驾驶员的驾驶行为的类别。具体的，驾驶员脸部特征点可以选用鼻子、眼睛、嘴巴、以及耳朵，当驾驶员的手出现在待识别图像中时，对驾驶员的手部关节点的坐标值与上述驾驶员脸部特征点的位置进行对比，当驾驶员的手部长时间出现在耳朵或者嘴巴旁边时，则驾驶员可能在打电话或者抽烟，则此时驾驶员的驾驶行为属于危险驾驶行为。
本发明实施例通过识别特征图中驾驶员的脸部特征信息和关节点特征信息的坐标值之间的关系，识别出驾驶员的驾驶行为类别信息，识别过程快速、高效。
本发明实施例提供的一种判断驾驶行为类别的方法中，利用两路并行的全卷积网络对所述特征图进行卷积操作，得到驾驶员身体特征点在所述待识别图像中的坐标值，包括：
将所有的所述特征图输入到两路并行的全卷积神经网络中，进行第1次卷积操作，得到第一置信热点图和第一部分亲和域；
将所述特征图与所述第一置信热点图和所述第一部分亲和域进行串联后再次输入到所述全卷积神经网络中，进行第2次卷积操作，得到第二置信热点图和第二部分亲和域；
在第t次卷积操作中，将所述特征图与第t-1次操作得到的置信热点图和部分亲和域进行串联后输入到所述全卷积神经网络中，得到驾驶员身体特征点在所述待识别图像中分布的置信热度图；其中，t≥5，且t为整数；
根据所述置信热度图获取所述驾驶员的身体特征点在所述待识别图像中的坐标值。
在本发明实施例中，利用两路并行的全卷积神经网络对特征图进行卷积操作，得到代表驾驶员身体特征的置信热度图后，将所热度图与上述特征图串联后继续输入到两路并行的全卷积神经网络中，如此重复，直至得到符合要求的关节点置信热点图。
作为本发明一种实施例，全卷积神经网络有两个分支，上述步骤分如下六步完成：
第一步：在全卷积神经网络的分支1中，输入512张大小为48×48像素上述特征图，经过3个大小为3×3×512像素、补齐为1像素、卷积步长为1像素的卷积操作，2个大小为1×1×J像素、补齐为1像素、卷积步长为1像素的卷积操作，得到J张大小为48×48像素的置信热度图S1，其中置信度热度图S1的具体内容表示为：
S＝(S1,S2,…,Sj),Sj∈Rw×h,j∈{1,2,…,J}
其中，J代表预测的关节点个数，w和h分别为所述待识别图像的宽和高。
第二步，在上述全卷积神经网络的分支2中，输入512张大小为48×48像素的上述特征图，经过3个大小为3×3×512像素、补齐为1像素、卷积步长为1的卷积操作，2个大小为1×1×C像素、补齐为1像素、卷积步长为1像素的卷积操作，得到C张大小为48×48像素的部分亲和域L1，其中部分亲和域L1内容具体表示为：
L＝(L1,L2,…LC),Lc∈Rw×h×2,c∈{1,2,…C}
其中，C代表相连关节点的部分亲和域组数，w和h分别为所述待识别图像的宽和高。
第三步，在上述分支1中计算损失函数，公式为：
在分支2中计算损失函数，公式为：
其中，W(p)是二值隐码，当在图像位置p处无注解时，W(p)＝0。其中和/>分别为预测出的掩码和标签值，/>和/>分别是置信热度图标签和部分亲和域标签，t代表阶段。
第四步，将上述第二部得到的置信度热度图S1和部分亲和域L1与所述特征图串联后，再次输入到所述全卷积神经网络中，得到置信度热力图S2和部分亲和域L2。
第五步，依次重复第三步和第四步的操作，重复5次，及得到S5和L5,。
第六步，根据做种输出的置信热度图，得到人体关节点的坐标值。具体的，如图3所示，可以将待识别图像中驾驶员的两个肩部关节点作为坐标系的横坐标轴，将驾驶员的脖子所在的直线作为纵坐标轴，得到驾驶员手部关节点和脸部特征点的坐标值。
本发明实施例通过两路并行的全卷积神经网络对特征图进行特征识别，通过多次的重复识别，用置信热点如识别出驾驶员身体特征点的坐标值，保证坐标值的准确度。
本发明实施例提供的一种判断驾驶行为类别的方法中，分析所述坐标值得到所述驾驶员的驾驶行为类别，包括：
将所述坐标值进行归一化处理；
将归一化后的坐标值输入到双层感知机中，得到驾驶员驾驶行为所属类别的概率；
将所述概率与预设的阈值进行比较，得到所述驾驶员驾驶行为所述的类别。
在本发明实施例中，计算机设备120获取到所述坐标值后，利用双层感知机对所述坐标值进行分析，从而得出驾驶员的驾驶行为类别。具体的，先将所述坐标值归一化处理，然后将归一化后的坐标值输入到双层感知机中，得到驾驶员的驾驶行为所述类别的概率，然后根据所述概率判断驾驶员的驾驶行为类别。
作为本发明一种实施例，将预测得到的人体关节点坐标值进行归一化，得到归一化的人体关节点坐标值，公式如下：
其中，(x0,y0)代表计算检测到脖子关节点的左边，并并将其设为左边原点(0，0)，(xi,yi)代表计算检测到的除脖子以外的其余关节点的坐标，w和h代表所述待识别图像的宽和高。
然后将上述归一化的坐标值输入到双层感知机中，，感知机两层隐层神经元个数均为64，输出层神经元个数为K，最终输出形式为K为向量，K代表预测的不安全驾驶行为类别种数，输出层输出公式为：
其中，xi为输出的K维向量中每一维度的输出值，xmax为这个K维向量输出的最大值，得到的f(xi)值即为每一类的分类概率。
根据上述每一类的分类概率计算网络的损失函数L(pi)：
其中，i代表图像中驾驶行为类别的序号，N为类别数目，pi为预测出该驾驶行为是否属于第i类的可能性，为实际该驾驶行为属于第i类的标签，/>为1代表该驾驶行为属于第i类，/>为0表示该驾驶行为不属于第i类，/>为二分类交叉熵，定义为：
在上述实施例中，会得到驾驶员的驾驶行为属于每一个类别的概率，然后根据所述概率与预设的阈值进行比较，得到驾驶员的驾驶行为实际所述的类别，并输出该驾驶行为类别。
本发明实施例通过双层感知机对坐标值进行分析，得到驾驶行为所述类别的概率，并最终获取驾驶行为所述类别，判断准确、高效、
本发明实施例提供的一种判断驾驶行为类别的方法中，还包括：
根据所述概率得到所述卷积神经网络的损失函数；
利用梯度下降法对所述损失函数进行优化，得到所述卷积神经网络的最终损失函数。
在本发明实施例中，根据上一个实施例得到的损失函数，利用梯度下降法对所述损失函数进行不断的优化，共迭代优化四万次，得到上述双层感知机中损失函数的最终函数，进一步提高本发明对驾驶行为类别预测的准确性。
本发明实施例提供的一种判断驾驶行为类别的方法中，还包括：
获取摄像装置上传的所述待识别图像；或
读取可移动存储介质上存储的所述待识别图像；或
获取网络、云端的所述待识别图像。
在本发明实施例中，计算机设备120获取待识别图像的方式可以是获取摄像装置上传的待识别图像，也可以是通过读取可移动存储介质上存储的待识别图像，还可以是获取网络、云端的待识别图像，对于获取待识别图像的具体方式，本发明并不做限定。
作为本发明一种优选的实施例，将图3(a)和图3(b)作为输入，利用本发明对其进行驾驶员驾驶行为识别，结果如图3(c)和图3(d)所示，同时采集6017张公交驾驶员在驾驶过程中正常驾驶行为图像，203张驾驶员驾驶过程中具有抽烟行为图像，341张驾驶员驾驶过程中具有打电话行为图像，共6561张图像作为输入，利用本发明对其进行驾驶员驾驶行为识别，统计本发明在识别驾驶员驾驶过程中抽烟打电话两种行为的识别准确率。
对比图3(a)、(b)和图3(c)(d)，分别为对应的两段监控视频的原始图像和处理结果图像。处理结果图像准确识别并标注了人体关节点和人脸特征点位置信息，并精准的识别出了驾驶员在驾驶过程中的抽烟与打电话两种不安全驾驶行为，表明了本发明能够对监控图像中驾驶员的人体特征点进行有效的回归预测，同时能够利用人体关节点坐标信息与人脸特征点信息多特征联合作为分类器输入特征，精准的识别驾驶员的驾驶行为。
对6561张图像数据驾驶行为识别准确率统计，识别为抽烟驾驶行为317张，其中117张为非抽烟的正常驾驶行为，200张为具有抽烟的驾驶行为，识别准确率为98.52％；识别为打电话驾驶行为341张，其中42张为非打电话的正常驾驶行为，328张为具有打电话的驾驶行为，识别准确率为96.18％。可以看出本发明在识别驾驶员驾驶行为时有较高的识别准确率。
本发明实施例使用卷积神经深度特征提取网络、全卷积神经网络、感知机网络三种网络结构进行联合的端到端模型，单一模型同时完成了图像特征提取、人体特征点预测和行为识别的训练与预测，克服了现有技术中图像特征提取网络与行为识别网络分离训练与多网络模型级联进行行为识别预测的复杂性，使得本发明的行为识别网络模型训练时具有整体性，预测时具有高效性的优点；使用全卷积神经网络同时预测人体关节点和脸部特征点坐标值，多特征联合作为行为识别分类器的输入特征，克服了现有技术中只使用脸部特征点或整张驾驶员监控图像提取出的特征作为驾驶员驾驶行为分类特征，特征数据较少且单一导致分类准确率不高的不足，使得本发明在驾驶员驾驶行为的分类识别结果具有更加精准的优点。
图4示出了适于本发明实施例的一种判断驾驶行为类别的装置的结构示意图，详述如下：
在本发明实施例中，所述装置包括：
信息获取单元410，所述信息获取单元410用于获取待识别图像，所述待识别图像中至少包含驾驶员身体肩部及以上的特征。
在本发明实施例中，在本发明实施例中，计算机设备120获取待识别图像进行识别，所述待识别图像至少应包含驾驶员肩部以上的身体特征。
特征图提取单元420，所述特征图提取单元420用于利用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图。
在本发明实施例中，计算机设备120采用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图，其中，所述基于卷积神经网络的特征提取网络可以选用VGG模型，VGG模型用于对所述待识别图像进行特征提取，得到特征图。
作为本发明一种实施例，计算机设备120获取到所述待识别图像后，将所述待识别别图像输入到VGG模型中，对所述待识别图像的三个通道信息中的每个通道分别进行卷积和降采样的特征提取处理，得到指定像素的的特征图。具体的，对所述待识别图像进行处理时，可以分成多步进行，使得所述待识别图像的像素值呈梯度下降，保证特征提取的准确性。
本发明实施例通过VGG模型对待识别图像进行特征提取，简单高效，保证特征提取的准确性。
驾驶行为分析单元430，所述驾驶行为分析单元430用于利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别。
在本发明实施例中，计算机设备120提取出所述待识别图像的特征图后，利用全卷积神经网络对所述特征图进行分析，以得到驾驶员的身体特征点在所述待识别图像中的坐标值，其中，所述驾驶员身体特征点包括驾驶员脸部特征点以及驾驶员关节点特征点，计算机设备120通过对特征图进行分析，可以得到驾驶员脸部特征点以及关节特征点在所述待识别图像中的坐标值，然后根据驾驶员脸部特征点的坐标值与驾驶员关节点坐标值之间的关系得到驾驶员的驾驶行为类别。
作为本发明一种实施例，计算机设备120提取到所述待识别图像的特征图后，将所述特征图输入值两路并行的全卷积神经网络模型中，所述全卷积神经网络模型会对所述特征图分别进行回归关节点坐标值和回归关节点间方向向量的操作，分别得到二维置信度热度图S1和二维的部分亲和域L1，每组部分亲和域编码了两个相连关节点的方向向量，再将上述二维置信度热度图S1和二维的部分亲和域L1输入到两个并行的全卷积神经网络模型中，分别得到二维置信度热度图S2和二维的部分亲和域L2，重复上述步骤4次，得到二维置信度热度图S5和二维的部分亲和域L5，通过条件约束的偶匹配算法将关节点进行连接从而精确人体关节点位置，得到人体关节点坐标值，然后将驾驶员关节点的坐标值输入到预先设定的双层感知机中，与驾驶员脸部特征点的坐标值进行对比，根据两者的位置关系判断驾驶员的驾驶行为的类别。具体的，驾驶员脸部特征点可以选用鼻子、眼睛、嘴巴、以及耳朵，当驾驶员的手出现在待识别图像中时，对驾驶员的手部关节点的坐标值与上述驾驶员脸部特征点的位置进行对比，当驾驶员的手部长时间出现在耳朵或者嘴巴旁边时，则驾驶员可能在打电话或者抽烟，则此时驾驶员的驾驶行为属于危险驾驶行为。
本发明实施例通过两路并行的全卷积神经网络对特征图进行分析，能够准确的得到驾驶员身体特征点在所述待识别图像中的坐标值，通过对多张连续图片中驾驶员的身体特征点之间的关系，能够有效判断驾驶员驾驶行为的类别。
信息输出单元440，所述信息输出单元440用于输出所述驾驶行为类别。
在本发明实施例中，计算机设备120获取到所述驾驶员的驾驶行为信息后，会将代表驾驶员驾驶行为类别的信息输出，便于用户获取驾驶员的驾驶行为类别。
本发明实施例使用卷积神经深度特征提取网络自动提取图像数据的深层次特征，克服了现有技术中需要使用人工先验知识来提取图像数据特征过程的过于复杂和低效的不足，使得本发明特征提取具有简易性和高效性，同时提取的特征代表性更高的优点；使用全卷积神经网络同时预测人体关节点和脸部特征点坐标值作为分类器的输入特征，克服了现有技术中只使用脸部特征点作为分类特征，特征数据较少导致分类准确率不高的不足，使分类结果具有更高准确率的优点。
图5示出了适于本发明实施例的一种计算机设备结构示意图，详述如下：
如图5所示，本发明实施例提供的一种计算机设备，包括存储器501、处理器502、通信模块503和用户接口504。
存储器501中存储有操作系统505，用于处理各种基本系统服务和用于执行硬件相关任务的程序；还存储有应用软件506，用于实现本发明实施例中的判断驾驶行为类别的方法的各个步骤。
在本发明实施例中，存储器501可以是高速随机存取存储器，诸如DRAM、SRAM、DDR、RAM、或者其他随机存取固态存储设备，或者非易失性存储器，诸如一个或多个硬盘存储设备、光盘存储设备、内存设备等。
在本发明实施例中，处理器502可通过通信模块503接收和发送数据以实现区块链网络通信或者本地通信。
用户接口504可以包括一个或多个输入设备507，比如键盘、鼠标、触屏显示器，用户接口504还可以包括一个或者多个输出设备508，比如显示器、扩音器等。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种判断驾驶行为类别的方法，其特征在于，所述方法包括：
获取待识别图像；
利用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图；
利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别；
输出所述驾驶行为类别；
所述利用卷积神经深度特征提取网络模型提取所述待识别图像的特征图，包括：
调整所述待识别图像的像素至第一像素大小；
对像素为所述第一像素大小的待识别图像进行至少一次的卷积操作，得到多张为第二像素大小的特征图；
所述利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别，包括：
利用两路并行的全卷积神经网络对所述特征图进行卷积操作，得到驾驶员身体特征点在所述待识别图像中的坐标值；
分析所述坐标值得到所述驾驶员的驾驶行为类别；
所述利用两路并行的全卷积网络对所述特征图进行卷积操作，得到驾驶员身体特征点在所述待识别图像中的坐标值，包括：
将所有的所述特征图输入到两路并行的全卷积神经网络中，进行第1次卷积操作，得到第一置信热点图和第一部分亲和域；
将所述特征图与所述第一置信热点图和所述第一部分亲和域进行串联后再次输入到所述全卷积神经网络中，进行第2次卷积操作，得到第二置信热点图和第二部分亲和域；
在第t次卷积操作中，将所述特征图与第t-1次操作得到的置信热点图和部分亲和域进行串联后输入到所述全卷积神经网络中，得到驾驶员身体特征点在所述待识别图像中分布的置信热度图：其中，t≥5,且t为整数；
根据所述置信热度图获取所述驾驶员的身体特征点在所述待识别图像中的坐标值。
2.根据权利要求1所述的方法，其特征在于，所述分析所述坐标值得到所述驾驶员的驾驶行为类别，包括：
将所述坐标值进行归一化处理；
将归一化后的坐标值输入到双层感知机中，得到驾驶员驾驶行为所属类别的概率；
将所述概率与预设的阀值进行比较，得到所述驾驶员驾驶行为所述的类别。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括:
根据所述概率得到所述卷积神经网络的损失函数；
利用梯度下降法对所述损失函数进行优化，得到所述卷积神经网络的最终损失函数。
4.根据权利要求1所述的方法，其特征在于，所述获取待识别图像，包括：
获取摄像装置上传的所述待识别图像：或
读取可移动存储介质上存储的所述待识别图像：或
获取网络、云端的所述待识别图像。
5.一种使用如权利要求1所述的方法制作的判断驾驶行为类别的装置，其特征在于，所述装置包括：
信息获取单元，所述信息获取单元用于获取待识别图像，所述待识别图像中至少包含驾驶员身体肩部及以上的特征；
特征图提取单元，所述特征图提取单元用于利用基于卷积神经网络的特征提取网络提取所述待识别图像的特征图；
驾驶行为分析单元，所述驾驶行为分析单元用于利用全卷积神经网络对所述特征图进行分析，得到所述驾驶员的驾驶行为类别；
信息输出单元，所述信息输出单元用于输出所述驾驶行为类别。
6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至4中任一项权利要求所述一种识别不安全驾驶行为的方法的步骤。
CN201811425677.4A 2018-11-27 2018-11-27 一种判断驾驶行为类别的方法、装置、及计算机设备 Active CN109543627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811425677.4A CN109543627B (zh) 2018-11-27 2018-11-27 一种判断驾驶行为类别的方法、装置、及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811425677.4A CN109543627B (zh) 2018-11-27 2018-11-27 一种判断驾驶行为类别的方法、装置、及计算机设备

Publications (2)

Publication Number Publication Date
CN109543627A CN109543627A (zh) 2019-03-29
CN109543627B true CN109543627B (zh) 2023-08-01

Family

ID=65851439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811425677.4A Active CN109543627B (zh) 2018-11-27 2018-11-27 一种判断驾驶行为类别的方法、装置、及计算机设备

Country Status (1)

Country Link
CN (1) CN109543627B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009539A (zh) * 2019-04-12 2019-07-12 烟台工程职业技术学院(烟台市技师学院) 一种学生在校学习状态智能档案系统及使用方法
CN110309723B (zh) * 2019-06-04 2023-08-01 东南大学 一种基于人体特征细分类的驾驶员行为识别方法
CN110321877B (zh) * 2019-06-04 2022-09-16 中北大学 一种三目后视镜和三目视觉安全驾驶方法和系统
CN110298257B (zh) * 2019-06-04 2023-08-01 东南大学 一种基于人体多部位特征的驾驶员行为识别方法
CN110580446A (zh) * 2019-07-16 2019-12-17 上海交通大学 行为语义细分化理解方法、系统、计算机装置以及介质
CN110723621B (zh) * 2019-10-11 2021-09-17 浙江新再灵科技股份有限公司 基于深度神经网络检测电梯轿厢内吸烟的装置和方法
CN110920539A (zh) * 2019-11-15 2020-03-27 奇点汽车研发中心有限公司 车辆驾驶分析方法和装置、电子设备和计算机存储介质
CN110930483B (zh) * 2019-11-20 2020-11-24 腾讯科技（深圳）有限公司 一种角色控制的方法、模型训练的方法以及相关装置
CN111160162B (zh) * 2019-12-18 2023-04-18 江苏比特达信息技术有限公司 一种级联的驾驶员人体姿态估计方法
CN111046858B (zh) * 2020-03-18 2020-09-08 成都大熊猫繁育研究基地 一种基于图像的动物物种细分类方法、系统及介质
CN111611971B (zh) * 2020-06-01 2023-06-30 城云科技（中国）有限公司 一种基于卷积神经网络的行为检测方法及系统
CN111832434B (zh) * 2020-06-23 2022-12-13 广州市保伦电子有限公司 一种保护隐私下的校园抽烟行为识别方法及处理终端
CN112132015A (zh) * 2020-09-22 2020-12-25 平安国际智慧城市科技股份有限公司 违规驾驶姿势的检测方法、装置、介质和电子设备
CN112487913A (zh) * 2020-11-24 2021-03-12 北京市地铁运营有限公司运营四分公司 一种基于神经网络的标注方法、装置及电子设备
CN113033276B (zh) * 2020-12-01 2022-05-17 神思电子技术股份有限公司 一种基于转换模块的行为识别方法
CN112528940B (zh) * 2020-12-23 2022-07-01 苏州科达科技股份有限公司 驾驶员行为识别模型的训练方法、识别方法及装置
CN112863175B (zh) * 2020-12-31 2022-11-22 平安科技（深圳）有限公司 汽车道路监测数据处理方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN105740910A (zh) * 2016-02-02 2016-07-06 北京格灵深瞳信息技术有限公司 一种车辆物件检测方法及装置
CN106682602A (zh) * 2016-12-16 2017-05-17 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN107729986A (zh) * 2017-09-19 2018-02-23 平安科技（深圳）有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN108694408A (zh) * 2017-04-11 2018-10-23 西安邮电大学 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法
CN108875812A (zh) * 2018-06-01 2018-11-23 宁波工程学院 一种基于分支卷积神经网络的驾驶员行为分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN105740910A (zh) * 2016-02-02 2016-07-06 北京格灵深瞳信息技术有限公司 一种车辆物件检测方法及装置
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN106682602A (zh) * 2016-12-16 2017-05-17 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN108694408A (zh) * 2017-04-11 2018-10-23 西安邮电大学 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法
CN107729986A (zh) * 2017-09-19 2018-02-23 平安科技（深圳）有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN108875812A (zh) * 2018-06-01 2018-11-23 宁波工程学院 一种基于分支卷积神经网络的驾驶员行为分类方法

Also Published As

Publication number Publication date
CN109543627A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN111738244B (zh) 图像检测方法、装置、计算机设备和存储介质
CN111860147B (zh) 行人重识别模型优化处理方法、装置和计算机设备
CN108921061B (zh) 一种表情识别方法、装置和设备
WO2021051601A1 (zh) 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111626123A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN111291809A (zh) 一种处理装置、方法及存储介质
CN110321870B (zh) 一种基于lstm的掌静脉识别方法
CN111680746A (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN110263847B (zh) 轨迹获取方法、装置、计算机设备及存储介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111191533A (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
CN112801063B (zh) 神经网络系统和基于神经网络系统的图像人群计数方法
CN113435330B (zh) 基于视频的微表情识别方法、装置、设备及存储介质
WO2021169642A1 (zh) 基于视频的眼球转向确定方法与系统
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN111126208A (zh) 行人归档方法、装置、计算机设备及存储介质
CN114359787A (zh) 目标属性识别方法、装置、计算机设备及存储介质
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant