CN111178272B - 一种识别驾驶员行为的方法、装置及设备 - Google Patents

一种识别驾驶员行为的方法、装置及设备 Download PDF

Info

Publication number
CN111178272B
CN111178272B CN201911398412.4A CN201911398412A CN111178272B CN 111178272 B CN111178272 B CN 111178272B CN 201911398412 A CN201911398412 A CN 201911398412A CN 111178272 B CN111178272 B CN 111178272B
Authority
CN
China
Prior art keywords
driver
image
classification result
preset
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911398412.4A
Other languages
English (en)
Other versions
CN111178272A (zh
Inventor
王晗
周晓
张静波
李传奇
李锋
赵佳文
李瑞洋
张积存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Group Beijing Co ltd
Original Assignee
Neusoft Group Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Group Beijing Co ltd filed Critical Neusoft Group Beijing Co ltd
Priority to CN201911398412.4A priority Critical patent/CN111178272B/zh
Publication of CN111178272A publication Critical patent/CN111178272A/zh
Application granted granted Critical
Publication of CN111178272B publication Critical patent/CN111178272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请实施例公开了一种识别驾驶员行为的方法、装置及设备，具体为，从原始车辆图像中提取驾驶员区域图像，并将该驾驶员区域图像分别输入行为分类模型以及驾驶员图像语义分割模型中。获得驾驶员行为分类模型输出的驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及驾驶员图像语义分割模型输出的驾驶员区域图像中各个像素点对应的分类结果，并根据驾驶员区域图像中各个像素点对应的分类结果得到驾驶员区域图像是否存在预设驾驶员行为的第二分类结果。根据第一分类结果和第二分类结果确定最终分类结果。可见，通过利用两种不同分类模型来确定驾驶员区域图像中驾驶员是否存在预设驾驶员行为的分类结果，提高驾驶员行为识别的准确率。

Description

一种识别驾驶员行为的方法、装置及设备
技术领域
本申请涉及图像处理技术领域，具体涉及一种识别驾驶员行为的方法、装置及设备。
背景技术
随着我国机动车保有量的日益增加，交通事故的发生率也在逐年增长。而驾驶员是车辆的主导者，驾驶员在驾驶过程中不系安全带、接打手机等驾驶员行为存在着巨大的安全隐患，因此规范驾驶员行为对于减少交通事故的发生有着十分重要的作用。随着计算机视觉等人工智能技术的迅速发展，智能交通卡口的优势日益凸显，其通过抓拍车辆等积累了大量的卡口图像和数据。因此如何利用卡口图像识别驾驶员行为是一个非常重要的课题。
发明内容
有鉴于此，本申请实施例提供一种识别驾驶员行为的方法、装置及设备，以有效地识别驾驶员在驾驶过程中的行为类别。
为解决上述问题，本申请实施例提供的技术方案如下：
一种识别驾驶员行为的方法，所述方法包括：
从原始车辆图像中提取驾驶员区域图像；
将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型；所述驾驶员行为分类模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签训练得到的；所述驾驶员图像语义分割模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像中各个像素点对应的类别标签训练得到的；
获得所述驾驶员行为分类模型输出的所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果；
获得所述驾驶员图像语义分割模型输出的所述驾驶员区域图像中各个像素点对应的分类结果；
根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果；
由所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
在一种可能的实现方式中，所述方法还包括：
将所述驾驶员区域图像转换为灰度图像；
对所述灰度图像的各个像素点进行卷积计算，计算得到所述灰度图像的各个像素点的卷积计算值；
将所述灰度图像的各个像素点的卷积计算值的标准差确定为所述驾驶员区域图像的清晰度值；
所述将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型，包括：
当所述清晰度值大于第一阈值时，将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型。
在一种可能的实现方式中，所述从原始车辆图像中提取驾驶员区域图像，包括：
将原始车辆图像输入车辆位置检测模型，获得所述车辆位置检测模型输出的车辆位置信息，根据所述车辆位置信息从所述原始车辆图像中提取目标车辆图像；所述车辆位置检测模型为深度学习模型，是根据待训练原始车辆图像中的车辆位置信息训练得到的；
将所述目标车辆图像输入驾驶员位置检测模型，获得所述驾驶员位置检测模型输出的驾驶员位置信息，根据所述驾驶员位置信息从所述目标车辆图像中提取驾驶员区域图像；所述驾驶员位置检测模型为深度学习模型，是根据待训练目标车辆图像中的驾驶员位置信息训练得到的。
在一种可能的实现方式中，所述根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，包括：
如果所述驾驶员区域图像中各个像素点对应的分类结果中同时存在手机类别的分类结果以及手类别的分类结果，将预设邻域范围内存在第二像素点的第一像素点确定为目标像素点；所述第一像素点为手类别的分类结果对应的像素点、所述第二像素点为手机类别的分类结果对应的像素点，或者，所述第一像素点为手机类别的分类结果对应的像素点、所述第二像素点为手类别的分类结果对应的像素点；
如果所述目标像素点的数量大于第二阈值，确定存在接打手机行为的第二分类结果；
如果所述驾驶员区域图像中各个像素点对应的分类结果中安全带类别的分类结果对应的像素点数量小于第三阈值，确定存在未系安全带行为的第二分类结果。
在一种可能的实现方式中，当从原始车辆图像中提取出两幅驾驶员区域图像时，所述方法还包括：
根据所述驾驶员区域图像中各个像素点对应的分类结果，从提取出的两幅驾驶员区域图像中确定主驾驶员区域图像以及副驾驶员区域图像。
在一种可能的实现方式中，所述根据所述驾驶员区域图像中各个像素点对应的分类结果，从提取出的两幅驾驶员区域图像中确定主驾驶员区域图像以及副驾驶员区域图像，包括：
在提取出的两幅驾驶员区域图像中，将所述驾驶员区域图像中各个像素点对应的分类结果中存在方向盘类别的分类结果对应的驾驶员区域图像确定为主驾驶员区域图像，将所述驾驶员区域图像中各个像素点对应的分类结果中不存在方向盘类别的分类结果对应的驾驶员区域图像确定为副驾驶员区域图像。
在一种可能的实现方式中，由所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果，包括：
当所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果一致时，直接将所述第一分类结果或者所述第二分类结果确定为所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果；
当所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果不一致时，根据预设规则确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
在一种可能的实现方式中，所述驾驶员行为分类模型的训练过程包括：
获取待训练驾驶员区域图像；
将分类标签为存在目标预设驾驶员行为的待训练驾驶员区域图像确定为所述目标预设驾驶员行为对应的正样本数据；所述目标预设驾驶员行为为预设驾驶员行为中的任一种；
将分类标签为不存在目标预设驾驶员行为的待训练驾驶员区域图像确定为所述目标预设驾驶员行为对应的负样本数据；
根据各个所述预设驾驶员行为对应的正样本数据以及负样本数据，利用加权交叉熵损失函数对初始模型进行训练得到驾驶员行为分类模型；所述加权交叉熵损失函数中，每一所述预设驾驶员行为对应的权重根据该预设驾驶员行为对应的正样本数据的比例确定。
一种识别驾驶员行为的装置，所述装置包括：
提取单元，用于从原始车辆图像中提取驾驶员区域图像；
输入单元，用于将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型；所述驾驶员行为分类模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签训练得到的；所述驾驶员图像语义分割模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像中各个像素点对应的类别标签训练得到的；
第一获取单元，用于获得所述驾驶员行为分类模型输出的所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果；
第二获取单元，用于获得所述驾驶员图像语义分割模型输出的所述驾驶员区域图像中各个像素点对应的分类结果；
第三获取单元，用于根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果；
第一确定单元，用于由所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行所述的识别驾驶员行为的方法。
一种识别驾驶员行为的设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的识别驾驶员行为的方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例首先从原始车辆图像中提取驾驶员区域图像，并将该驾驶员区域图像分别输入行为分类模型以及驾驶员图像语义分割模型中。然后，获得驾驶员行为分类模型输出的驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及驾驶员图像语义分割模型输出的驾驶员区域图像中各个像素点对应的分类结果，并根据驾驶员区域图像中各个像素点对应的分类结果得到驾驶员区域图像是否存在预设驾驶员行为的第二分类结果。然后，根据第一分类结果和第二分类结果确定驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。即，本申请实施例通过利用两种不同分类模型来确定驾驶员区域图像中驾驶员是否存在预设驾驶员行为的分类结果，提高驾驶员行为识别的准确率。而且，通过不同分类模型的分类结果的融合，使得本申请实施例提供的识别方法具有较高的适用性和灵活性。
附图说明
图1为本申请实施例提供的识别驾驶员行为方法的流程图；
图2为本申请实施例提供的一种应用框架图；
图3为本申请实施例提供的一种识别驾驶员行为的装置结构图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
为便于理解本申请实施例提供的技术方案，下面将结合附图对本申请实施例的识别驾驶员行为的方法进行说明。
参见图1，该图为本申请实施例提供的一种识别驾驶员行为的方法流程图，如图1所示，该方法可以包括：
S101：从原始车辆图像中提取驾驶员区域图像。
本实施例中，当车辆在行驶过程中，可以通过道路上的高清卡口系统实时采集包括车辆的图像，即原始车辆图像，然后从该原始车辆图像中提取驾驶员区域图像。
可以理解的是，在利用道路的卡口系统采集原始车辆图像时，通常采集的原始车辆图像包括当前目标车辆以及当前目标车辆周围的其他车辆，可能影响后续分类的准确性。因此，当获取到原始车辆图像后，需要对该原始车辆图像进行处理，以提取需要进行驾驶员行为识别的驾驶员区域图像。在一种可能的实现方式中，S101具体可以包括：
1)将原始车辆图像输入车辆位置检测模型，获得车辆位置检测模型输出的车辆位置信息，根据该车辆位置信息从原始车辆图像中提取目标车辆。
即，利用车辆位置检测模型获取原始车辆图像中目标车辆的位置信息，例如，输出目标车辆所在的目标框；然后，根据目标车辆的位置信息从原始车辆图像中提取目标车辆图像，例如，从原始车辆图像中切割提取出目标车辆所在的目标框区域的图像作为目标车辆图像。
其中，车辆位置检测模型为深度学习模型，是根据待训练原始车辆图像中的车辆位置信息训练得到的。在实际应用中，可以获取待训练原始车辆图像，待训练原始车辆图像中标注有车辆位置信息，例如，可以通过标注车辆目标框来表征车辆位置信息。则利用待训练原始车辆图像以及待训练原始车辆图像中的车辆位置信息可以训练得到车辆位置检测模型。关于深度学习模型的训练过程可以参见现有的训练实现，本实施例不再赘述。
2)将目标车辆图像输入驾驶员位置检测模型，获得驾驶员位置检测模型输出的驾驶员位置信息，根据驾驶员位置信息从目标车辆图像中提取驾驶员区域图像。
当获得目标车辆图像后，利用驾驶员位置检测模型获得驾驶员位置信息，例如，输出驾驶员所在的目标框；根据该驾驶员位置信息从目标车辆图像中提取驾驶员区域图像，例如，从目标车辆图像中切割提取出驾驶员所在的目标框区域的图像作为驾驶员区域图像。驾驶员位置信息对应的驾驶员区域中应包括驾驶员的头部、颈部、上半躯干及两臂等部位。
其中，驾驶员位置检测模型为深度学习模型，是根据待训练目标车辆图像中的驾驶员位置信息训练得到的。在实际应用中，可以获取待训练目标车辆图像，待训练目标车辆图像中标注有驾驶员位置信息，例如，可以通过标注驾驶员目标框来表征驾驶员位置信息。则利用待训练目标车辆图像以及待训练目标车辆图像中的驾驶员位置信息可以训练得到驾驶员位置检测模型。即，通过基于深度学习训练的驾驶员位置检测模型对驾驶员位置信息进行检测，准确提取出目标车辆图像中驾驶员的位置信息。
本实施例中车辆位置检测模型通过利用待训练原始车辆图像标注的车辆位置训练获得、驾驶员位置检测模型通过利用待训练目标车辆图像标注的驾驶员位置训练获得，使得车辆位置检测模型以及驾驶员位置检测模型可以学习更深层次的语义特征，从而可以更准确地提取目标车辆图像以及驾驶员区域图像。
S102：将驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型。
S103：获得驾驶员行为分类模型输出的驾驶员区域图像是否存在预设驾驶员行为的第一分类结果。
当获取到驾驶员区域图像后，将该驾驶员区域图像分别输入驾驶员行为分类模型和驾驶员图像语义分割模型中，通过驾驶员行为分类模型可以获得该驾驶员区域图像中驾驶员是否存在预设驾驶员行为的第一分类结果。
其中，预设驾驶员行为可以根据实际情况进行设定，例如可以包括未系安全带行为、打手机行为、抽烟行为等等。具体地，预设驾驶员行为可以为上述的一种或多种组合，
而驾驶员行为分类模型是根据待训练驾驶员区域图像以及待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签训练得到的。
当预设驾驶行为是一种时，例如为未系安全带行为，对应的驾驶员行为分类模型可以为二分类模型，则训练驾驶员分类模型时待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签为二分类标签；当预设驾驶员行为是多种时，对应的驾驶员行为分类模型为多分类模型，则训练驾驶员分类模型时待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签为多分类标签，即一幅待训练驾驶员区域图像对应多个分类标签。例如一幅待训练驾驶员区域图像对应是否存在接打手机行为、是否存在未系安全带行为、是否存在抽烟行为等多个标签。
具体地，训练驾驶员行为分类模型的过程可以包括：
1)获取待训练驾驶员区域图像。
2)将分类标签为存在目标预设驾驶员行为的待训练驾驶员区域图像确定为目标预设驾驶员行为对应的正样本数据。
3)将分类标签为不存在目标预设驾驶员行为的待训练驾驶员区域图像确定为目标预设驾驶员行为对应的负样本数据。
本实施例中，首先获取大量的待训练驾驶员区域图像，将其中分类标签为存在目标预设驾驶员行为的待训练驾驶员区域图像确定为正样本数据，将其中分类标签为不存在目标预设驾驶员行为的待训练驾驶员区域图像确定为目标预设驾驶员行为对应的负样本数据。其中，目标预设驾驶员行为为预设驾驶员行为中的任一种。例如，目标预设驾驶员行为未系安全带行为，则目标预设驾驶员行为对应的正样本数据为分类标签为驾驶员未系安全带的待训练驾驶员区域图像；目标预设驾驶员行为对应的负样本数据为分类标签为驾驶员系安全带的待训练驾驶员区域图像。目标预设驾驶员行为为接打手机行为，则目标预设驾驶员行为对应的正样本数据为分类标签为驾驶员接打手机的待训练驾驶员区域图像；目标预设驾驶员行为对应的负样本数据为分类标签为驾驶员未接打手机的待训练驾驶员区域图像。
4)根据各个预设驾驶员行为对应的正样本数据以及负样本数据，利用加权交叉熵损失函数对初始模型进行训练得到驾驶员行为分类模型。
当获得各个预设驾驶员行为对应的正样本数据和负样本数据，根据每个预设驾驶员行为对应的正样本数据以及负样本数据对初始模型进行训练，得到驾驶员行为分类模型。可以理解的是，通常情况下，为减小正负样本数据不均衡影响驾驶员行为分类模型的分类准确性，利用加权交叉熵损失函数对初始模型中每一驾驶员行为对应的权重进行调整。其中，加权交叉熵损失函数中，每一预设驾驶员行为对应的权重根据该预设驾驶员行为对应的正样本数据的比例确定。具体地，加权交叉熵损失函数为：
Figure BDA0002346913280000101
其中，wl为在训练样本中第l个目标预设驾驶员行为的正样本比例，yil表示第i个训练样本中第l个目标预设驾驶员行为对应的分类标签，
Figure BDA0002346913280000102
表示预测的第i个训练样本是否包含第l个目标预设驾驶员行为的概率。
通过上述公式可知，当正样本数据的占比越大时，其对应的损失权重越小；当正样本数据的占比越小时，其对应的损失权重越大，从而减小正负样本数据不均衡的影响。
在实际应用中，驾驶员行为分类模型可以为包括5个卷积层和3个全连接层的深度卷积神经网络模型，本申请实施例对驾驶员行为分类模型的网络结构不进行限定。
S104：获得驾驶员图像语义分割模型输出的驾驶员区域图像中各个像素点对应的分类结果。
在本实施例中，在将驾驶员区域图像输入驾驶员图像语义分割模型后，驾驶员图像语义分割模型可以对驾驶员区域图像中每个像素点进行分类，得到各个像素点对应的分类结果。像素点对应的分类结果可以包括驾驶员身体类别、背景类别、方向盘类别、安全带类别、手机类别和手类别等分类结果。可以理解的是，驾驶员区域图像中每个像素点只能属于一种类别，例如，一个像素点对应的分类结果为驾驶员身体类别的分类结果，另一个像素点对应的分类结果为手机类别的分类结果等。
而驾驶员图像语义分割模型是根据待训练驾驶员区域图像以及待训练驾驶员区域图像中各个像素点对应的类别标签训练得到的。在实际应用中，可以获取待训练驾驶员区域图像，待训练驾驶员区域图像中标注有各个像素点对应的类别标签。其中，像素点对应的分类结果与训练驾驶员图像语义分割模型时待训练驾驶员区域图像中各个像素点对应的类别标签一一对应。该类别标签可以根据实际需求确定，例如类别标签为驾驶员身体、背景、方向盘、安全带、手机和手等。则利用待训练驾驶员区域图像以及待训练驾驶员区域图像中各个像素点对应的类别标签可以训练得到驾驶员图像语义分割模型。
S105：根据驾驶员区域图像中各个像素点对应的分类结果得到驾驶员区域图像是否存在预设驾驶员行为的第二分类结果。
当通过驾驶员图像语义分割模型输出驾驶员区域图像中各个像素点对应的分类结果后，根据各个像素点对应的分类结果获得驾驶员区域图像是否存在预设驾驶员行为的第二分类结果。
具体地，可以通过以下方式确定第二分类结果：
1)如果驾驶员区域图像中各个像素点对应的分类结果中同时存在手机类别的分类结果以及手类别的分类结果，将预设邻域范围内存在第二像素点的第一像素点确定为目标像素点。
当通过驾驶员图像语义分割模型输出的驾驶员区域图像中各个像素点对应的分类结果中既有手机类别的分类结果以及手类别的分类结果，则将预设邻域范围内存在第二像素点的第一像素点确定为目标像素点。也就是，如果第一像素点的预设邻域范围内存在第二像素点，则将第一像素点确定为目标像素点。其中，第一像素点可以为手类别的分类结果对应的像素点、第二像素点为手机类别的分类结果对应的像素点；或者，第一像素点为手机类别的分类结果对应的像素点、第二像素点为手类别的分类结果对应的像素点。
在实际应用中，可以先提取由第一像素点组成的区域边界上的像素点，并判断边界上的每个像素点的预设邻域范围内是否存在第二像素点，如果边界上的某个像素点的预设邻域范围内存在第二像素点，则将边界上的该像素点确定为目标像素点，进而确定出由第一像素点组成的区域边界上存在目标像素点的数量。例如，第一像素点为手类别的分类结果对应的像素点，提取手轮廓边界上的各个像素点，并判断每个像素点预设邻域范围内是否存在手机类别的分类结果对应的第二像素点，如果某些像素点的预设邻域范围内存在第二像素点，将该些像素点确定为目标像素点。
2)如果目标像素点的数量大于第二阈值，确定存在接打手机行为的第二分类结果。
当确定出驾驶员区域图像中目标像素点的个数后，判断目标像素点的数量是否大于第二阈值，如果大于第二阈值，表明第一像素点对应的分类结果和第二像素点对应的分类结果之间的间隔距离较小，则确定存在接打手机行为的第二分类结果。
可以理解的是，当第一像素点为手类别的分类结果对应的像素点时，如果第一像素点的预设邻域范围内存在手机类别的分类结果对应的第二像素点时，且第一像素点的数量超过预设阈值，表明驾驶员区域图像中驾驶员的手与手机紧挨，则确定存在接打手机行为的第二分类结果。同理，当第一像素点为手机类别的分类结果对应的像素点时，如果第一像素点的预设邻域范围内存在手类别的分类结果对应的第一像素点时，且第一像素点的数量超过预设阈值，表明驾驶员区域图像中驾驶员的手与手机紧挨，则确定存在接打手机行为的第二分类结果。
3)如果驾驶员区域图像中各个像素点对应的分类结果中安全带类别的分类结果对应的像素点数量小于第三阈值，确定存在未系安全带行为的第二分类结果。
当通过驾驶员区域图像语义分割模型获得驾驶员区域图像中各个像素点对应的分类结果后，获取分类结果为安全带类别对应的像素点数量，并判断该像素点数量是否小于第三阈值，如果小于，表明拍摄的驾驶员区域图像中安全带占比较小，表明驾驶员可能未系安全带，则确定存在未系安全带行为的第二分类结果。
S106：由驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
当获取驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及驾驶员区域图像是否存在预设驾驶员行为的第二分类结果后，根据第一分类结果和第二分类结果确定驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
在具体实现时，本实施例提供了两种确定最终分类结果的实现方式，分别为：
一种是，当驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及驾驶员区域图像是否存在预设驾驶员行为的第二分类结果一致时，直接将第一分类结果或者第二分类结果确定为驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
即，当通过驾驶员行为分类模型输出的第一分类结果以及根据驾驶员区域图像中各个像素点对应的分类结果确定的第二分类结果一致，则将第一分类结果或第二分类结果确定为驾驶员区域图像对应的最终分类结果。具体地，当第一分类结果和第二分类结果均为驾驶员区域图像存在某一预设驾驶员行为时，则驾驶员区域图像对应的最终分类结果为存在该预设驾驶员行为。当第一分类结果和第二分类结果均为驾驶员区域图像未存在某一预设驾驶员行为时，则驾驶员区域图像对应的最终分类结果为未存在该预设驾驶员行为。
另一种是，当驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及驾驶员区域图像是否存在预设驾驶员行为的第二分类结果不一致时，根据预设规则确定驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
即，当通过驾驶员行为分类模型输出的第一分类结果以及根据驾驶员区域图像中各个像素点对应的分类结果确定的第二分类结果不一致，则根据实际应用场景设定预设规则，由预设规则确定为驾驶员区域图像对应的最终分类结果。例如，需要对是否存在某个预设驾驶员行为较为严格地判断时，当第一分类结果和第二分类结果中任一分类结果为驾驶员区域图像存在该预设驾驶员行为时，则驾驶员区域图像对应的最终分类结果为存在预设驾驶员行为。而不需要对是否存在某个预设驾驶员行为较为严格地判断时，当第一分类结果和第二分类结果中任一分类结果为驾驶员区域图像未存在该预设驾驶员行为时，则驾驶员区域图像对应的最终分类结果为未存在预设驾驶员行为。
基于上述描述可知，从原始车辆图像中提取驾驶员区域图像，并将该驾驶员区域图像分别输入行为分类模型以及驾驶员图像语义分割模型中。然后，获得驾驶员行为分类模型输出的驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及驾驶员图像语义分割模型输出的驾驶员区域图像中各个像素点对应的分类结果，并根据驾驶员区域图像中各个像素点对应的分类结果得到驾驶员区域图像是否存在预设驾驶员行为的第二分类结果。然后，根据第一分类结果和第二分类结果确定驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。即，本申请实施例通过利用两种不同分类模型来确定驾驶员区域图像中驾驶员是否存在预设驾驶员行为的分类结果，提高驾驶员行为识别的准确率。而且，通过不同分类模型的分类结果的融合，使得本申请实施例提供的识别方法具有较高的适用性和灵活性。
可以理解的是，在实际应用中，由于拍摄装置质量、角度、光线、天气等原因，使得拍摄的原始车辆图像模糊，进而使得提取的驾驶员区域图像不清晰，为保证后续分类结果的准确性，可以先计算驾驶员区域图像的清晰度值，利用清晰度值满足预设条件的驾驶员区域图像进行图像分类。具体为：
1)将驾驶员区域图像转换为灰度图像。
2)对灰度图像的各个像素点进行卷积计算，计算得到灰度图像的各个像素点的卷积计算值。
本实施例中，当提取驾驶员区域图像后，将其转换为灰度图像，并对灰度图像中各个像素点进行卷积计算，获得各个像素点的卷积计算值。具体地，可以利用拉普拉斯算法计算各个像素点的卷积计算值。
3)将灰度图像的各个像素点的卷积计算值的标准差确定为驾驶员区域图像的清晰度值。
4)当清晰度值大于第一阈值时，将驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型。
当获得灰度图像中各个像素点的卷积计算值后，获得各个像素点的卷积计算值的标准差，将该标准差确定为驾驶员区域图像的清晰度值。再判断该驾驶员区域图像的清晰度值是否大于第一阈值，如果是，则将驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型。其中，第一阈值可以根据实际应情况进行确定。
通过计算驾驶员区域图像的清晰度值，将清晰度值满足预设条件的驾驶员区域图像输入各个分类模型中，从而提高分类结果的准确性。
另外，在实际应用中，在从原始车辆图像中提取驾驶员区域图像时，可能会提取到一幅驾驶员区域图像或者两幅驾驶员区域图像，当提取到两幅驾驶员区域图像，其中一幅为主驾驶员区域图像，一幅为副驾驶员区域图像。因此，当存在两幅驾驶员区域图像时，可以先确定每幅驾驶员区域图像的类别，分别对每幅驾驶员区域图像进行驾驶员行为识别。具体地，根据驾驶员区域图像中各个像素点对应的分类结果，从提取出的两幅驾驶员区域图像中确定主驾驶区域图像以及副驾驶员区域图像。
可以理解的是，由于驾驶员图像语义分割模型可以对驾驶员区域图像中各个像素点进行分类，当某驾驶员区域图像中某一像素点对应的分类结果为方向盘类别时，即可确定该驾驶员区域图像为主驾驶区域图像，另一驾驶员区域图像为副驾驶员区域图像。即，在提取出的两幅驾驶员区域图像中，将驾驶员区域图像中各个像素点对应的分类结果中存在方向盘类别的分类结果对应的驾驶员区域图像确定为主驾驶员区域图像，将驾驶员区域图像中各个像素点对应的分类结果中不存在方向盘类别的分类结果对应的驾驶员区域图像确定为副驾驶员区域图像。即，本实施例通过识别驾驶员区域图像中是否存在方向盘对主副驾驶员进行识别，有效解决由于不同地域主副驾驶员位置不同而带来的识别不准确的问题。
在实际应用中，可以利用本申请实施例提供的驾驶员行为识别方法进行违章行为识别，当预设驾驶行为是未系安全带，当通过本申请实施例提供的识别方法确定驾驶员区域图像对应的最终分类结果为存在未系安全带行为时，则确定存在未系安全带的违章行为；当预设驾驶员行为是接打电话，当通过本申请实施例提供的识别方法确定驾驶员区域图像对应的最终分类结果为存在接打电话行为时，则确定存在接打电话的违章行为。
需要说明的是，如果副驾驶员未系安全带属于违章行为，而副驾驶员接打手机不属于违章行为，因此，在确定某辆车是否存在未系安全带违章行为时，需要结合主驾驶员区域图像和副驾驶员区域图像进行确定；在确定某辆车是否存在接打电话违章行为时，只需根据主驾驶员区域图像进行确定即可。
具体地，如图2所示框架图，首先获取原始车辆图像，并从该原始车辆图像中提取驾驶员区域图像。计算该驾驶员区域图像的清晰度值，如果该驾驶员区域图像的清晰度值满足预设条件，则将该驾驶员区域图像输入驾驶员行为分类模型和驾驶员图像语义分割模型。获得驾驶员行为分类模型输出的第一分类结果以及根据驾驶员图像语义分割模型中各个像素点对应的分类结果确定的第二分类结果，根据第一分类结果和第二分类结果确定是否存在违章行为。
基于上述方法实施例，本申请实施例提供了一种识别驾驶员行为的装置，下面将结合附图进行说明。
参见图3，该图为本申请实施例提供的一种识别驾驶员行为的装置结构图，如图3所示，该装置可以包括：
提取单元301，用于从原始车辆图像中提取驾驶员区域图像；
输入单元302，用于将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型；所述驾驶员行为分类模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签训练得到的；所述驾驶员图像语义分割模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像中各个像素点对应的类别标签训练得到的；
第一获取单元303，用于获得所述驾驶员行为分类模型输出的所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果；
第二获取单元304，用于获得所述驾驶员图像语义分割模型输出的所述驾驶员区域图像中各个像素点对应的分类结果；
第三获取单元305，用于根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果；
第一确定单元306，用于由所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
在一种可能的实现方式中，所述装置还包括：
转换单元，用于将所述驾驶员区域图像转换为灰度图像；
计算单元，用于对所述灰度图像的各个像素点进行卷积计算，计算得到所述灰度图像的各个像素点的卷积计算值；
第二确定单元，用于将所述灰度图像的各个像素点的卷积计算值的标准差确定为所述驾驶员区域图像的清晰度值；
当所述清晰度值大于第一阈值时，执行所述输入单元。
在一种可能的实现方式中，所述提取单元，包括：
第一获取子单元，用于将原始车辆图像输入车辆位置检测模型，获得所述车辆位置检测模型输出的车辆位置信息，根据所述车辆位置信息从所述原始车辆图像中提取目标车辆图像；所述车辆位置检测模型为深度学习模型，是根据待训练原始车辆图像中的车辆位置信息训练得到的；
第二获取子单元，用于将所述目标车辆图像输入驾驶员位置检测模型，获得所述驾驶员位置检测模型输出的驾驶员位置信息，根据所述驾驶员位置信息从所述目标车辆图像中提取驾驶员区域图像；所述驾驶员位置检测模型为深度学习模型，是根据待训练目标车辆图像中的驾驶员位置信息训练得到的。
在一种可能的实现方式中，所述第三获取单元，具体用于如果所述驾驶员区域图像中各个像素点对应的分类结果中同时存在手机类别的分类结果以及手类别的分类结果，将预设邻域范围内存在第二像素点的第一像素点确定为目标像素点；所述第一像素点为手类别的分类结果对应的像素点、所述第二像素点为手机类别的分类结果对应的像素点，或者，所述第一像素点为手机类别的分类结果对应的像素点、所述第二像素点为手类别的分类结果对应的像素点；
如果所述目标像素点的数量大于第二阈值，确定存在接打手机行为的第二分类结果；
如果所述驾驶员区域图像中各个像素点对应的分类结果中安全带类别的分类结果对应的像素点数量小于第三阈值，确定存在未系安全带行为的第二分类结果。
在一种可能的实现方式中，当从原始车辆图像中提取出两幅驾驶员区域图像时，所述装置还包括：
第三确定单元，用于根据所述驾驶员区域图像中各个像素点对应的分类结果，从提取出的两幅驾驶员区域图像中确定主驾驶员区域图像以及副驾驶员区域图像。
在一种可能的实现方式中，所述第三确定单元，具体用于在提取出的两幅驾驶员区域图像中，将所述驾驶员区域图像中各个像素点对应的分类结果中存在方向盘类别的分类结果对应的驾驶员区域图像确定为主驾驶员区域图像，将所述驾驶员区域图像中各个像素点对应的分类结果中不存在方向盘类别的分类结果对应的驾驶员区域图像确定为副驾驶员区域图像。
在一种可能的实现方式中，所述第一确定单元，具体用于当所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果一致时，直接将所述第一分类结果或者所述第二分类结果确定为所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果；
当所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果不一致时，根据预设规则确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
在一种可能的实现方式中，所述驾驶员行为分类模型的训练过程包括：
获取待训练驾驶员区域图像；
将分类标签为存在目标预设驾驶员行为的待训练驾驶员区域图像确定为所述目标预设驾驶员行为对应的正样本数据；所述目标预设驾驶员行为为预设驾驶员行为中的任一种；
将分类标签为不存在目标预设驾驶员行为的待训练驾驶员区域图像确定为所述目标预设驾驶员行为对应的负样本数据；
根据各个所述预设驾驶员行为对应的正样本数据以及负样本数据，利用加权交叉熵损失函数对初始模型进行训练得到驾驶员行为分类模型；所述加权交叉熵损失函数中，每一所述预设驾驶员行为对应的权重根据该预设驾驶员行为对应的正样本数据的比例确定。
需要说明的是，本实施例中各个单元的实现可以参见上述方法实施例，本实施例在此不再赘述。
另外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行所述的识别驾驶员行为的方法。
本申请实施例提供了种识别驾驶员行为的设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的识别驾驶员行为的方法。
基于上述方法可知，首先从原始车辆图像中提取驾驶员区域图像，并将该驾驶员区域图像分别输入行为分类模型以及驾驶员图像语义分割模型中。然后，获得驾驶员行为分类模型输出的驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及驾驶员图像语义分割模型输出的驾驶员区域图像中各个像素点对应的分类结果，并根据驾驶员区域图像中各个像素点对应的分类结果得到驾驶员区域图像是否存在预设驾驶员行为的第二分类结果。然后，根据第一分类结果和第二分类结果确定驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。即，本申请实施例通过利用两种不同分类模型来确定驾驶员区域图像中驾驶员是否存在预设驾驶员行为的分类结果，提高驾驶员行为识别的准确率。而且，通过不同分类模型的分类结果的融合，使得本申请实施例提供的识别方法具有较高的适用性和灵活性。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种识别驾驶员行为的方法，其特征在于，所述方法包括：
从原始车辆图像中提取驾驶员区域图像；
将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型；所述驾驶员行为分类模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签训练得到的；所述驾驶员图像语义分割模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像中各个像素点对应的类别标签训练得到的；
获得所述驾驶员行为分类模型输出的所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果；
获得所述驾驶员图像语义分割模型输出的所述驾驶员区域图像中各个像素点对应的分类结果；
根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果；
由所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述驾驶员区域图像转换为灰度图像；
对所述灰度图像的各个像素点进行卷积计算，计算得到所述灰度图像的各个像素点的卷积计算值；
将所述灰度图像的各个像素点的卷积计算值的标准差确定为所述驾驶员区域图像的清晰度值；
所述将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型，包括：
当所述清晰度值大于第一阈值时，将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型。
3.根据权利要求1所述的方法，其特征在于，所述从原始车辆图像中提取驾驶员区域图像，包括：
将原始车辆图像输入车辆位置检测模型，获得所述车辆位置检测模型输出的车辆位置信息，根据所述车辆位置信息从所述原始车辆图像中提取目标车辆图像；所述车辆位置检测模型为深度学习模型，是根据待训练原始车辆图像中的车辆位置信息训练得到的；
将所述目标车辆图像输入驾驶员位置检测模型，获得所述驾驶员位置检测模型输出的驾驶员位置信息，根据所述驾驶员位置信息从所述目标车辆图像中提取驾驶员区域图像；所述驾驶员位置检测模型为深度学习模型，是根据待训练目标车辆图像中的驾驶员位置信息训练得到的。
4.根据权利要求1所述的方法，其特征在于，所述根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，包括：
如果所述驾驶员区域图像中各个像素点对应的分类结果中同时存在手机类别的分类结果以及手类别的分类结果，将预设邻域范围内存在第二像素点的第一像素点确定为目标像素点；所述第一像素点为手类别的分类结果对应的像素点、所述第二像素点为手机类别的分类结果对应的像素点，或者，所述第一像素点为手机类别的分类结果对应的像素点、所述第二像素点为手类别的分类结果对应的像素点；
如果所述目标像素点的数量大于第二阈值，确定存在接打手机行为的第二分类结果；
如果所述驾驶员区域图像中各个像素点对应的分类结果中安全带类别的分类结果对应的像素点数量小于第三阈值，确定存在未系安全带行为的第二分类结果。
5.根据权利要求1所述的方法，其特征在于，当从原始车辆图像中提取出两幅驾驶员区域图像时，所述方法还包括：
根据所述驾驶员区域图像中各个像素点对应的分类结果，从提取出的两幅驾驶员区域图像中确定主驾驶员区域图像以及副驾驶员区域图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述驾驶员区域图像中各个像素点对应的分类结果，从提取出的两幅驾驶员区域图像中确定主驾驶员区域图像以及副驾驶员区域图像，包括：
在提取出的两幅驾驶员区域图像中，将所述驾驶员区域图像中各个像素点对应的分类结果中存在方向盘类别的分类结果对应的驾驶员区域图像确定为主驾驶员区域图像，将所述驾驶员区域图像中各个像素点对应的分类结果中不存在方向盘类别的分类结果对应的驾驶员区域图像确定为副驾驶员区域图像。
7.根据权利要求1所述的方法，其特征在于，由所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果，包括：
当所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果一致时，直接将所述第一分类结果或者所述第二分类结果确定为所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果；
当所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果不一致时，根据预设规则确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
8.根据权利要求1所述的方法，其特征在于，所述驾驶员行为分类模型的训练过程包括：
获取待训练驾驶员区域图像；
将分类标签为存在目标预设驾驶员行为的待训练驾驶员区域图像确定为所述目标预设驾驶员行为对应的正样本数据；所述目标预设驾驶员行为为预设驾驶员行为中的任一种；
将分类标签为不存在目标预设驾驶员行为的待训练驾驶员区域图像确定为所述目标预设驾驶员行为对应的负样本数据；
根据各个所述预设驾驶员行为对应的正样本数据以及负样本数据，利用加权交叉熵损失函数对初始模型进行训练得到驾驶员行为分类模型；所述加权交叉熵损失函数中，每一所述预设驾驶员行为对应的权重根据该预设驾驶员行为对应的正样本数据的比例确定。
9.一种识别驾驶员行为的装置，其特征在于，所述装置包括：
提取单元，用于从原始车辆图像中提取驾驶员区域图像；
输入单元，用于将所述驾驶员区域图像输入驾驶员行为分类模型以及驾驶员图像语义分割模型；所述驾驶员行为分类模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像对应的是否存在预设驾驶员行为的分类标签训练得到的；所述驾驶员图像语义分割模型是根据待训练驾驶员区域图像以及所述待训练驾驶员区域图像中各个像素点对应的类别标签训练得到的；
第一获取单元，用于获得所述驾驶员行为分类模型输出的所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果；
第二获取单元，用于获得所述驾驶员图像语义分割模型输出的所述驾驶员区域图像中各个像素点对应的分类结果；
第三获取单元，用于根据所述驾驶员区域图像中各个像素点对应的分类结果得到所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果；
第一确定单元，用于由所述驾驶员区域图像是否存在预设驾驶员行为的第一分类结果以及所述驾驶员区域图像是否存在预设驾驶员行为的第二分类结果，确定所述驾驶员区域图像是否存在预设驾驶员行为的最终分类结果。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-8任一项所述的识别驾驶员行为的方法。
11.一种识别驾驶员行为的设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8任一项所述的识别驾驶员行为的方法。
CN201911398412.4A 2019-12-30 2019-12-30 一种识别驾驶员行为的方法、装置及设备 Active CN111178272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911398412.4A CN111178272B (zh) 2019-12-30 2019-12-30 一种识别驾驶员行为的方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911398412.4A CN111178272B (zh) 2019-12-30 2019-12-30 一种识别驾驶员行为的方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111178272A CN111178272A (zh) 2020-05-19
CN111178272B true CN111178272B (zh) 2023-04-18

Family

ID=70655988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911398412.4A Active CN111178272B (zh) 2019-12-30 2019-12-30 一种识别驾驶员行为的方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111178272B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111645695B (zh) * 2020-06-28 2022-08-09 北京百度网讯科技有限公司 一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
CN111931642A (zh) * 2020-08-07 2020-11-13 上海商汤临港智能科技有限公司 一种安全带佩戴检测的方法、装置、电子设备及存储介质
CN112417945A (zh) * 2020-09-09 2021-02-26 嘉兴市纳杰微电子技术有限公司 基于专有神经网络的分心驾驶实时监测方法及设备
CN112132070A (zh) * 2020-09-27 2020-12-25 上海高德威智能交通系统有限公司 驾驶行为分析方法、装置、设备及存储介质
CN114627613A (zh) * 2020-12-11 2022-06-14 深圳酷派技术有限公司 不规范驾驶行为识别方法、装置、存储介质及电子设备
CN113486856B (zh) * 2021-07-30 2024-01-02 大连海事大学 一种驾驶员不规范行为检测方法
CN115187967B (zh) * 2022-09-13 2023-02-17 苏州魔视智能科技有限公司 一种检测方法、训练方法、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334880A (zh) * 2018-01-12 2018-07-27 东南大学 一种搭建针对手势检测的深度学习网络结构的方法及系统
CN108898054A (zh) * 2018-05-24 2018-11-27 合肥工业大学 一种基于语义分割的安全带检测方法
CN109376634A (zh) * 2018-10-15 2019-02-22 北京航天控制仪器研究所 一种基于神经网络的公交司机违规行为检测系统
CN110321897A (zh) * 2019-07-08 2019-10-11 四川九洲视讯科技有限责任公司 基于图像语义分割识别非机动车异常行为的方法
US10482334B1 (en) * 2018-09-17 2019-11-19 Honda Motor Co., Ltd. Driver behavior recognition
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334880A (zh) * 2018-01-12 2018-07-27 东南大学 一种搭建针对手势检测的深度学习网络结构的方法及系统
CN108898054A (zh) * 2018-05-24 2018-11-27 合肥工业大学 一种基于语义分割的安全带检测方法
US10482334B1 (en) * 2018-09-17 2019-11-19 Honda Motor Co., Ltd. Driver behavior recognition
CN109376634A (zh) * 2018-10-15 2019-02-22 北京航天控制仪器研究所 一种基于神经网络的公交司机违规行为检测系统
CN110321897A (zh) * 2019-07-08 2019-10-11 四川九洲视讯科技有限责任公司 基于图像语义分割识别非机动车异常行为的方法
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shiyang Yan等.Driver behavior recognition based on deep convolutional neural networks.2016 12th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery.2019,第636-641页. *
李俊俊 等.基于神经网络融合的司机违规行为识别.计算机应用与软件.2018,第第35卷卷(第第35卷期),第222-227、319页. *

Also Published As

Publication number Publication date
CN111178272A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111178272B (zh) 一种识别驾驶员行为的方法、装置及设备
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN108268867B (zh) 一种车牌定位方法及装置
US9842266B2 (en) Method for detecting driver cell phone usage from side-view images
US9721173B2 (en) Machine learning approach for detecting mobile phone usage by a driver
CN109711264B (zh) 一种公交车道占道检测方法及装置
CN111310850B (zh) 车牌检测模型的构建方法及系统、车牌检测方法及系统
CN107665327B (zh) 一种车道线检测方法及装置
CN113065578B (zh) 一种基于双路区域注意力编解码的图像视觉语义分割方法
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
Bell et al. A novel system for nighttime vehicle detection based on foveal classifiers with real-time performance
CN107578048B (zh) 一种基于车型粗分类的远视场景车辆检测方法
Jiang et al. Car plate recognition system
CN104915642A (zh) 前方车辆测距方法及装置
KR101794632B1 (ko) 전기차 번호판 로고 패턴 인식 방법
CN112766273A (zh) 一种车牌识别方法
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111753610A (zh) 天气识别方法及装置
Ismail License plate Recognition for moving vehicles case: At night and under rain condition
CN110634120B (zh) 一种车辆损伤判别方法及装置
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
Amin et al. An automatic number plate recognition of Bangladeshi vehicles
CN114092818B (zh) 语义分割方法、装置、电子设备及存储介质
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN113610037A (zh) 一种基于头部和可见区域线索的遮挡行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant