CN114898339B - 驾驶行为预测模型的训练方法、装置、设备、存储介质 - Google Patents
驾驶行为预测模型的训练方法、装置、设备、存储介质 Download PDFInfo
- Publication number
- CN114898339B CN114898339B CN202210549450.0A CN202210549450A CN114898339B CN 114898339 B CN114898339 B CN 114898339B CN 202210549450 A CN202210549450 A CN 202210549450A CN 114898339 B CN114898339 B CN 114898339B
- Authority
- CN
- China
- Prior art keywords
- training
- model
- label
- driving behavior
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 360
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003062 neural network model Methods 0.000 claims abstract description 108
- 238000003066 decision tree Methods 0.000 claims abstract description 48
- 230000006399 behavior Effects 0.000 claims description 398
- 238000004590 computer program Methods 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种驾驶行为预测模型的训练方法、装置、设备、存储介质。所述方法包括：通过获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；基于第二标签构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型。采用本方法得到的驾驶行为预测模型能够对可能发生的疲劳驾驶行为进行预测，消除安全隐患。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种驾驶行为预测模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在商用车的智能化发展中，驾驶安全性永远摆在第一位。而疲劳驾驶则是造成交通事故的一大因素。对于商用车司机来讲，有时候会出现驾驶时间长、环境艰苦而导致的疲劳驾驶的现象，其后果不堪设想。因此预测疲劳驾驶状态，减少交通事故的发生是非常重要的。
现今对于驾驶员疲劳驾驶行为的监控多数是通过传感器来完成，但是它们的缺陷都是对于复杂的驾驶行为没有定义。目前关于驾驶员的疲劳驾驶行为主要是基于深度学习的疲劳驾驶行为检测，但是由于算法的精确度及可解释性的限制，这种疲劳驾驶行为检测不具备可预见性。
目前的疲劳驾驶行为检测方式无法对可能出现的疲劳驾驶行为进行预测。
发明内容
基于此，有必要针对上述技术问题，提供一种能够得到驾驶行为预测模型，且该驾驶行为预测模型能够对可能出现的疲劳驾驶行为进行准确预测的驾驶行为预测模型的训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种驾驶行为预测模型的训练方法。所述方法包括：
获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；
基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；
基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；
采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
在其中一个实施例中，获取训练集，包括：
从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；
识别每张样本驾驶行为图像对应的行为特征，并根据行为特征为每张样本驾驶行为图像添加一种类别的第一标签，第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；
根据行为特征确定出每张样本驾驶行为图像对应的特征类别，基于特征类别为每张样本驾驶行为图像添加第二标签，第二标签至少包括特征类别子标签和预测行为子标签。
在其中一个实施例中，基于第二标签所包括的至少两个子标签确定层次树结构，包括：
获取训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；
确定所有子标签之间的层级关系，根据层级关系确定各中间节点以及各叶节点；
根据第一标签中的疲劳驾驶状态类别确定根节点，并基于根节点、各中间节点和各叶节点得到层次树结构。
在其中一个实施例中，采用训练集对神经网络模型进行训练，得到第一模型，包括：
采用训练集对神经网络模型进行训练，在训练过程中，根据神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；
在第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为第一模型。
在其中一个实施例中，采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，包括：
采用训练集对第二模型进行训练，在训练过程中，根据第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；
在第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。
在其中一个实施例中，方法还包括：
按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；
在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；
在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。
第二方面，本申请还提供了一种驾驶行为预测模型的训练装置。所述装置包括：
获取模块，用于获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；
第一训练模块，用于基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；
嫁接模块，用于基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；
第二训练模块，用于采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；
基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；
基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；
采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；
基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；
基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；
采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；
基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；
基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；
采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
上述驾驶行为预测模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，通过获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签可以表征具体的疲劳驾驶行为；基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。使用该驾驶行为预测模型，不仅能够对当前的疲劳驾驶状态做出判断，并且能够在检测出疲劳驾驶状态的情况下，对可能发生的疲劳驾驶行为进行预测，从而对驾驶者进行提示，消除安全隐患。
附图说明
图1为一个实施例中驾驶行为预测模型的训练方法的流程示意图；
图2为一个实施例中获取训练集的流程示意图；
图3为一个实施例中获取神经网络模型的流程示意图；
图4为一个实施例中训练神经网络模型的的流程示意图；
图5为一个实施例中嫁接神经网络模型和决策树模型的流程示意图；
图6为一个实施例中层次树结构示意图；
图7为一个实施例中驾驶行为预测模型的使用方法的流程示意图；
图8为一个实施例中驾驶行为预测模型的训练装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种驾驶行为预测模型的训练方法，本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该计算机设备具体可以是终端或服务器。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、车载处理器、物联网设备、便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能医用设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：
步骤102，获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为。
可选的，计算机设备可收集大量存在时序关系的驾驶行为图像，根据疲劳驾驶的概念为每个图像添加第一标签，第一标签为两种，一种是处于疲劳驾驶状态，另一种是处于非疲劳驾驶状态。对于处于疲劳驾驶状态的驾驶行为图像，根据后续时刻的驾驶行为图像中出现的疲劳驾驶行为，为每个图像添加第二标签。第二标签中还可以包括多个子标签，部分子标签可以用于对具体疲劳驾驶行为的类别区分，另一部分子标签则用于表示具体的疲劳驾驶行为，例如，当一个标记为疲劳驾驶状态的驾驶行为图像的后续时刻图像中，驾驶者出现长时间低头的行为，可以为该标记为疲劳驾驶状态的驾驶行为图像添加肢体动作-长时间低头的第二标签，是否存在长时间低头可以通过多张后续时刻图像进行判定。将每一张驾驶行为图像作为样本驾驶行为图像，将每一张样本驾驶行为图像和其对应的第一标签、第二标签作为一个训练样本，收集足够多的训练样本，得到训练集。
在一个可行的实施方式中，如图2所示，计算机设备获取驾驶行为视频，将驾驶行为视频中的典型行为按帧提取驾驶行为图像，对驾驶行为图像设置特征点，并添加第一标签和第二标签，完成构建总数据集，在总数据集的基础上将其分为训练集和测试集两部分。其中，训练集用于模型训练，测试集用于测试训练后的模型的准确率。
步骤104，基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层。
可选的，第一标签决定了神经网络模型的功能，决定了神经网络模型需要输出的信息。因此根据第一标签，选择合适功能、合适结构的神经网络模型，并根据训练集的数据格式，在计算机设备中调整模型的输入。由于后续要将神经网络模型和决策树模型组合，因此所选神经网络模型的最后一层需要是全连接层，便于和决策树模型进行嫁接。在计算机设备中，采用训练集对神经网络模型进行训练，就能够得到第一模型，训练过程中，在每一个训练样本中，只有样本驾驶行为图像和对应的第一标签用于对神经网络模型进行训练。
在一个可行的实施方式中，如图3所示，计算机设备首先根据训练集的格式确定神经网络模型的输入大小，然后确定多分类交叉熵公式，定义多层神经网络及损失，完成神经网络模型搭建。
在一个可行的实施方式中，如图4所示，计算机设备获取训练集之后，将训练集导入神经网络模型，训练过程中画出loss曲线及准确率曲线，比较曲线图象，完成神经网络模型训练。
步骤106，基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型。
其中，层次树结构相当于决策树模型的诱导模型。
可选的，在计算机设备中，根据所有第二标签包括的所有子标签，确定各中间节点和各叶节点之间的层级关系，从而确定每一个中间节点和叶节点，例如，对于一个肢体动作-长时间低头的第二标签，肢体动作和长时间低头分别是该第二标签的两个子标签，将肢体动作子标签作为中间节点，将长时间低头子标签作为叶节点。将第一标签中的疲劳驾驶状态类别作为根节点，确定出层次树结构。将该层次树结构作为决策树模型的诱导模型，通过诱导模型将决策树模型连接到第一模型的全连接层，得到第二模型。
步骤108，采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
可选的，在计算机设备中，采用训练集对第二模型进行训练，训练达到识别准确度的要求就能够得到驾驶行为预测模型，训练过程中，在每一个训练样本中，样本驾驶行为图和对应的第一标签、第二标签都要用于对神经网络模型进行训练。
在一个可行的实施方式中，如图5所示，选择软决策树，计算机设备对神经网络模型和决策树模型进行嫁接与重组，得到第二模型，使用训练集训练第二模型，根据决策树的节点标签及预测的准确率，判断分类模型是否达标，实现神经支持决策树模型的搭建和训练。
上述驾驶行为预测模型的训练方法中，通过获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。使用该驾驶行为预测模型，不仅能够对当前的疲劳驾驶状态做出判断，并且能够在检测出疲劳驾驶状态的情况下，对可能发生的疲劳驾驶行为进行预测，从而对驾驶者进行提示，消除安全隐患。
在一个实施例中，获取训练集，包括：从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据行为特征为每张样本驾驶行为图像添加一种类别的第一标签，第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据行为特征确定出每张样本驾驶行为图像对应的特征类别，基于特征类别为每张样本驾驶行为图像添加第二标签，第二标签至少包括特征类别子标签和预测行为子标签。
可选的，计算机设备从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像，根据疲劳驾驶行为概念对样本驾驶行为图像进行筛选，将处于疲劳驾驶状态的样本驾驶行为图像添加上疲劳驾驶状态类别的第一标签，将剩余样本驾驶行为图像添加上非疲劳驾驶状态类别的第一标签。样本驾驶行为图像大致分为面部表情和肢体动作两个特征类别，还可以根据需要进一步分类，在每个特征类别下，识别出具体的疲劳驾驶行为，根据样本驾驶行为图像中具体的疲劳驾驶行为和对应的特征类别添加第二标签。每个第二标签中，至少包括特征类别子标签和预测行为子标签，例如，肢体动作可以对应长时间低头、动作缓慢等具体的疲劳驾驶行为，面部表情可以对应非正常闭眼、表情呆滞等具体的疲劳驾驶行为，将面部表情和肢体动作分别作为一个特征类别子标签，具体的疲劳驾驶行为则分别作为预测行为子标签。对每张样本驾驶行为图像添加好第一标签和第二标签后，对每张样本驾驶行为图像进行特征点选取，完成训练集构建。
本实施例中，通过从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据行为特征为每张样本驾驶行为图像添加一种类别的第一标签，第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据行为特征确定出每张样本驾驶行为图像对应的特征类别，基于特征类别为每张样本驾驶行为图像添加第二标签，第二标签至少包括特征类别子标签和预测行为子标签。该训练集即可以用于神经网络模型的训练，还可以对第一模型进行训练，大大提高了模型训练效率。
在一个实施例中，基于第二标签所包括的至少两个子标签确定层次树结构，包括：获取训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据层级关系确定各中间节点以及各叶节点；根据第一标签中的疲劳驾驶状态类别确定根节点，并基于根节点、各中间节点和各叶节点得到层次树结构。
可选的，计算机设备获取每个第二标签对应的特征类别、每个特征类别对应的具体的疲劳驾驶行为，并根据具体的疲劳驾驶行为和特征类别的对应关系，确定层级关系。然后将每一种特征类别作为一个中间节点，将每一个具体的疲劳驾驶行为作为一个叶节点，然后将第一标签中的疲劳驾驶状态类别作为一个根节点，确定出层次树结构。例如，特征类别分为肢体动作和面部表情，肢体动作对应长时间低头、动作缓慢，面部表情对应非正常闭眼、表情呆滞的情况下，将肢体动作和面部表情作为两个中间节点，长时间低头、动作缓慢、非正常闭眼和表情呆滞作为四个叶节点，得到如图6所示的层次树结构。
在一个可行的实施方式中，利用wordnet形成层次树结构。wordnet是一个覆盖范围宽广的英语词汇语义网。名词，动词，形容词和副词各自被组织成一个同义词的网络，每个同义词集合都代表一个基本的语义概念，并且这些集合之间也由各种关系连接。(一个多义词将出现在它的每个意思的同义词集合中)。
本实施例中，获取训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据层级关系确定各中间节点以及各叶节点；根据第一标签中的疲劳驾驶状态类别确定根节点，并基于根节点、各中间节点和各叶节点得到层次树结构。能够得到决策树模型的层次树结构，并与后续和神经网络模型的全连接层进行嫁接。
在一个实施例中，采用训练集对神经网络模型进行训练，得到第一模型，包括：采用训练集对神经网络模型进行训练，在训练过程中，根据神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；在第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为第一模型。
其中，第一准确率是指神经网络模型输出结果的准确率；第一预设条件可以但不限于是第一准确率大于95％。
可选的，计算机设备根据训练集的数据格式调整神经网络模型的输入。例如，若训练集为cifar10，可以与训练一个resnet18的卷积神经网络，这种结构的神经网络最后一层为全连接层，为后续和决策树的嫁接打下基础。在神经网络模型的训练过程中，根据每一次训练样本的训练情况画出loss曲线及准确率曲线，根据训练样本数量的递增来提高模型的识别准确度，当准确率达到95％以上即可完成训练。
本实施例中，采用训练集对神经网络模型进行训练，在训练过程中，根据神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；在第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为第一模型。能够得到识别准确率满足要求的第一模型，第一模型能够根据当前驾驶者的驾驶行为图像判断当前驾驶者是否处于疲劳驾驶状态。
在一个可行的实施方式中，选择残差神经网络作为神经网络模型，同时保证残差神经网络最后一层为全连接层，为后续和决策树的嫁接打下基础。
在一个实施例中，采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，包括：采用训练集对第二模型进行训练，在训练过程中，根据第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；在第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。
其中，第二准确率是指第二模型输出结果的准确率；第二预设条件可以但不限于是第二准确率大于95％。
可选的，第二模型就是神经网络和决策树的组合模型。在第二模型训练或使用过程中，当一张驾驶行为图像输出第二模型，首先经过神经网络，到达全连接层之前，神经网络会输出一个n维向量x，让x一次与决策树个节点的子节点隐向量计算内积，采用软决策树的遍历模式，自顶向下遍历全部中间节点计算内积，然后叶节点的最终概率是到达叶节点的路径上各中间节点的概率之乘积，最后通过比较各叶节点上的最终概率值的大小，即可确定x所属类别进行输出。训练过程中，将输出结果和第二标签进行比较，判断是否准确。在第二模型的训练过程中，根据每一次训练样本的训练情况画出loss曲线及准确率曲线，根据训练样本数量的递增来提高模型的识别准确度，当准确率达到95％以上即可完成训练。
本实施例中，采用训练集对第二模型进行训练，在训练过程中，根据第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；在第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。使用该驾驶行为预测模型，不仅能够对当前的疲劳驾驶状态做出判断，并且能够在检测出疲劳驾驶状态的情况下，对可能发生的疲劳驾驶行为进行预测，从而对驾驶者进行提示，消除安全隐患。
在一个实施例中，方法还包括：按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。
其中，疲劳驾驶检测结果用于表征当前驾驶者处于疲劳驾驶状态，非疲劳驾驶检测结果用于表征当前驾驶者不处于疲劳驾驶状态，疲劳驾驶行为预测结果用于表征当前驾驶者可能发生的疲劳驾驶行为，疲劳驾驶行为包括但不限于长时间低头、动作缓慢、非正常闭眼和表情呆滞等。
可选的，如图7所示，驾驶行为预测模型在计算机设备使用时，可以实时获取驾驶者的监控视频(即目标驾驶行为视频)，并按照预设间隔从目标驾驶行为视频中连续获取目标驾驶行为图像，预设间隔可以设置为1秒。每提取一张目标驾驶行为图像，就输入至驾驶行为预测模型，若驾驶行为预测模型判断当前驾驶者处于疲劳驾驶状态，则输出疲劳驾驶检测结果，同时提示可能发生的疲劳驾驶行为，若驾驶行为预测模型判断当前驾驶者不处于疲劳驾驶状态，则只输出非疲劳驾驶检测结果。
本实施例中，按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。使用该驾驶行为预测模型，不仅能够对当前的疲劳驾驶状态做出判断，并且能够在检测出疲劳驾驶状态的情况下，对可能发生的疲劳驾驶行为进行预测，从而对驾驶者进行提示，消除安全隐患。
在一个实施例中，一种驾驶行为预测模型的训练方法，包括：
从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据行为特征为每张样本驾驶行为图像添加一种类别的第一标签，第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据行为特征确定出每张样本驾驶行为图像对应的特征类别，基于特征类别为每张样本驾驶行为图像添加第二标签，第二标签至少包括特征类别子标签和预测行为子标签。训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为。
基于第一标签选择神经网络模型，神经网络模型的最后一层为全连接层。采用训练集对神经网络模型进行训练，在训练过程中，根据神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；在第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为第一模型。
获取训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据层级关系确定各中间节点以及各叶节点；根据第一标签中的疲劳驾驶状态类别确定根节点，并基于根节点、各中间节点和各叶节点得到层次树结构。基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型。
采用训练集对第二模型进行训练，在训练过程中，根据第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；在第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
在一个实施例中，一种疲劳驾驶行为预测方法，通过上述驾驶行为预测模型实现，包括：按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。
本实施例中，按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。使用该驾驶行为预测模型，不仅能够对当前的疲劳驾驶状态做出判断，并且能够在检测出疲劳驾驶状态的情况下，对可能发生的疲劳驾驶行为进行预测，从而对驾驶者进行提示，消除安全隐患。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的驾驶行为预测模型的训练方法的驾驶行为预测模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个驾驶行为预测模型的训练装置实施例中的具体限定可以参见上文中对于驾驶行为预测模型的训练方法的限定，在此不再赘述。
在一个实施例中，如图3所示，提供了一种驾驶行为预测模型的训练装置800，包括：获取模块801、第一训练模块802、嫁接模块803和第二训练模块804，其中：
获取模块801，用于获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为。
第一训练模块802，用于基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层。
嫁接模块803，用于基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型。
第二训练模块804，用于采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
在一个实施例中，获取模块801还用于从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据行为特征为每张样本驾驶行为图像添加一种类别的第一标签，第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据行为特征确定出每张样本驾驶行为图像对应的特征类别，基于特征类别为每张样本驾驶行为图像添加第二标签，第二标签至少包括特征类别子标签和预测行为子标签。
在一个实施例中，嫁接模块803还用于获取训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据层级关系确定各中间节点以及各叶节点；根据第一标签中的疲劳驾驶状态类别确定根节点，并基于根节点、各中间节点和各叶节点得到层次树结构。
在一个实施例中，第一训练模块802还用于采用训练集对神经网络模型进行训练，在训练过程中，根据神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；在第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为第一模型。
在一个实施例中，第二训练模块804还用于采用训练集对第二模型进行训练，在训练过程中，根据第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；在第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。
在一个实施例中，装置还包括：
行为预测模块，用于按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。
上述驾驶行为预测模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或者服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储驾驶行为图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种驾驶行为预测模型的训练方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据行为特征为每张样本驾驶行为图像添加一种类别的第一标签，第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据行为特征确定出每张样本驾驶行为图像对应的特征类别，基于特征类别为每张样本驾驶行为图像添加第二标签，第二标签至少包括特征类别子标签和预测行为子标签。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据层级关系确定各中间节点以及各叶节点；根据第一标签中的疲劳驾驶状态类别确定根节点，并基于根节点、各中间节点和各叶节点得到层次树结构。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用训练集对神经网络模型进行训练，在训练过程中，根据神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；在第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为第一模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用训练集对第二模型进行训练，在训练过程中，根据第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；在第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据行为特征为每张样本驾驶行为图像添加一种类别的第一标签，第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据行为特征确定出每张样本驾驶行为图像对应的特征类别，基于特征类别为每张样本驾驶行为图像添加第二标签，第二标签至少包括特征类别子标签和预测行为子标签。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据层级关系确定各中间节点以及各叶节点；根据第一标签中的疲劳驾驶状态类别确定根节点，并基于根节点、各中间节点和各叶节点得到层次树结构。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用训练集对神经网络模型进行训练，在训练过程中，根据神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；在第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为第一模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用训练集对第二模型进行训练，在训练过程中，根据第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；在第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取训练集，训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与样本驾驶行为图像对应的第一标签和第二标签，第一标签表征是否处于疲劳驾驶状态，第二标签表征疲劳驾驶行为；基于第一标签选择神经网络模型，采用训练集对神经网络模型进行训练，得到第一模型；神经网络模型的最后一层为全连接层；基于第二标签所包括的至少两个子标签确定层次树结构，基于层次树结构构建决策树模型，将决策树模型连接到第一模型的全连接层，得到第二模型；采用训练集对第二模型进行训练，得到训练好的驾驶行为预测模型，驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据行为特征为每张样本驾驶行为图像添加一种类别的第一标签，第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据行为特征确定出每张样本驾驶行为图像对应的特征类别，基于特征类别为每张样本驾驶行为图像添加第二标签，第二标签至少包括特征类别子标签和预测行为子标签。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据层级关系确定各中间节点以及各叶节点；根据第一标签中的疲劳驾驶状态类别确定根节点，并基于根节点、各中间节点和各叶节点得到层次树结构。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用训练集对神经网络模型进行训练，在训练过程中，根据神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；在第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为第一模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用训练集对第二模型进行训练，在训练过程中，根据第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；在第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将目标驾驶行为图像输入至驾驶行为预测模型；在驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶检测结果，同时输出与目标驾驶行为图像对应的疲劳驾驶行为预测结果；在驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶检测结果。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (8)
1.一种驾驶行为预测模型的训练方法，其特征在于，所述方法包括：
获取训练集，所述训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与所述样本驾驶行为图像对应的第一标签和第二标签，所述第一标签表征是否处于疲劳驾驶状态，所述第二标签表征疲劳驾驶行为；所述获取训练集，包括：从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据所述行为特征为每张样本驾驶行为图像添加一种类别的第一标签，所述第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据所述行为特征确定出每张样本驾驶行为图像对应的特征类别，基于所述特征类别为每张样本驾驶行为图像添加第二标签，所述第二标签至少包括特征类别子标签和预测行为子标签；
基于所述第一标签选择神经网络模型，采用所述训练集对所述神经网络模型进行训练，得到第一模型；所述神经网络模型的最后一层为全连接层；
基于所述第二标签所包括的至少两个子标签确定层次树结构，基于所述层次树结构构建决策树模型，将所述决策树模型连接到所述第一模型的全连接层，得到第二模型；所述基于所述第二标签所包括的至少两个子标签确定层次树结构，包括：获取所述训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据所述层级关系确定各中间节点以及各叶节点；根据所述第一标签中的所述疲劳驾驶状态类别确定根节点，并基于所述根节点、各中间节点和各叶节点得到层次树结构；
采用所述训练集对所述第二模型进行训练，得到训练好的驾驶行为预测模型，所述驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
2.根据权利要求1所述的方法，其特征在于，所述采用所述训练集对所述神经网络模型进行训练，得到第一模型，包括：
采用所述训练集对所述神经网络模型进行训练，在训练过程中，根据所述神经网络模型对应每个训练样本的输出结果和每个训练样本对应的第一标签，计算第一准确率；
在所述第一准确率满足第一预设条件的情况下，停止训练，得到训练完成的神经网络模型，并将训练完成的神经网络模型作为所述第一模型。
3.根据权利要求1所述的方法，其特征在于，所述采用所述训练集对所述第二模型进行训练，得到训练好的驾驶行为预测模型，包括：
采用所述训练集对所述第二模型进行训练，在训练过程中，根据所述第二模型输出的与每个训练样本对应的输出结果、以及每个训练样本对应的第二标签，计算第二准确率；
在所述第二准确率满足第二预设条件的情况下，停止训练，得到训练完成的第二模型，并将训练完成的第二模型作为驾驶行为预测模型。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照预设间隔从目标驾驶行为视频中获取目标驾驶行为图像，并将所述目标驾驶行为图像输入至所述驾驶行为预测模型；
在所述驾驶行为预测模型识别出疲劳驾驶状态对应的行为特征的情况下，输出疲劳驾驶状态检测结果，同时输出与所述目标驾驶行为图像对应的疲劳驾驶行为预测结果；
在所述驾驶行为预测模型未识别出疲劳驾驶状态对应的行为特征的情况下，输出非疲劳驾驶状态检测结果。
5.一种驾驶行为预测模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取训练集，所述训练集包括多个训练样本，每个训练样本包括样本驾驶行为图像、以及与所述样本驾驶行为图像对应的第一标签和第二标签，所述第一标签表征是否处于疲劳驾驶状态，所述第二标签表征疲劳驾驶行为；所述获取训练集，包括：从样本驾驶行为视频中抽取多帧图像，得到样本驾驶行为图像；识别每张样本驾驶行为图像对应的行为特征，并根据所述行为特征为每张样本驾驶行为图像添加一种类别的第一标签，所述第一标签分为疲劳驾驶状态类别和非疲劳驾驶状态类别；根据所述行为特征确定出每张样本驾驶行为图像对应的特征类别，基于所述特征类别为每张样本驾驶行为图像添加第二标签，所述第二标签至少包括特征类别子标签和预测行为子标签；
第一训练模块，用于基于所述第一标签选择神经网络模型，采用所述训练集对所述神经网络模型进行训练，得到第一模型；所述神经网络模型的最后一层为全连接层；
嫁接模块，用于基于所述第二标签所包括的至少两个子标签确定层次树结构，基于所述层次树结构构建决策树模型，将所述决策树模型连接到所述第一模型的全连接层，得到第二模型；所述基于所述第二标签所包括的至少两个子标签确定层次树结构，包括：获取所述训练集中的所有第二标签，以及获取每个第二标签对应的至少两个子标签；确定所有子标签之间的层级关系，根据所述层级关系确定各中间节点以及各叶节点；根据所述第一标签中的所述疲劳驾驶状态类别确定根节点，并基于所述根节点、各中间节点和各叶节点得到层次树结构；
第二训练模块，用于采用所述训练集对所述第二模型进行训练，得到训练好的驾驶行为预测模型，所述驾驶行为预测模型用于预测是否发生疲劳驾驶行为。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
8.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210549450.0A CN114898339B (zh) | 2022-05-20 | 2022-05-20 | 驾驶行为预测模型的训练方法、装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210549450.0A CN114898339B (zh) | 2022-05-20 | 2022-05-20 | 驾驶行为预测模型的训练方法、装置、设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114898339A CN114898339A (zh) | 2022-08-12 |
| CN114898339B true CN114898339B (zh) | 2024-06-07 |
Family
ID=82722992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210549450.0A Active CN114898339B (zh) | 2022-05-20 | 2022-05-20 | 驾驶行为预测模型的训练方法、装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114898339B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460336A (zh) * | 2018-01-29 | 2018-08-28 | 南京邮电大学 | 一种基于深度学习的行人检测方法 |
| CN110516812A (zh) * | 2019-07-19 | 2019-11-29 | 南京航空航天大学 | 基于对抗样本的抗成员推理攻击的ai模型隐私保护方法 |
| WO2020024395A1 (zh) * | 2018-08-02 | 2020-02-06 | 平安科技（深圳）有限公司 | 疲劳驾驶检测方法、装置、计算机设备及存储介质 |
| CN111444657A (zh) * | 2020-03-10 | 2020-07-24 | 五邑大学 | 一种疲劳驾驶预测模型的构建方法、装置及存储介质 |
| CN111553209A (zh) * | 2020-04-15 | 2020-08-18 | 同济大学 | 一种基于卷积神经网络和时间序列图的司机行为识别方法 |
| CN114282583A (zh) * | 2021-04-29 | 2022-04-05 | 阿波罗智联(北京)科技有限公司 | 图像分类模型训练分类方法、装置、路侧设备和云控平台 |
| CN114387587A (zh) * | 2022-01-14 | 2022-04-22 | 东北大学 | 一种疲劳驾驶监测方法 |
-
2022
- 2022-05-20 CN CN202210549450.0A patent/CN114898339B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460336A (zh) * | 2018-01-29 | 2018-08-28 | 南京邮电大学 | 一种基于深度学习的行人检测方法 |
| WO2020024395A1 (zh) * | 2018-08-02 | 2020-02-06 | 平安科技（深圳）有限公司 | 疲劳驾驶检测方法、装置、计算机设备及存储介质 |
| CN110516812A (zh) * | 2019-07-19 | 2019-11-29 | 南京航空航天大学 | 基于对抗样本的抗成员推理攻击的ai模型隐私保护方法 |
| CN111444657A (zh) * | 2020-03-10 | 2020-07-24 | 五邑大学 | 一种疲劳驾驶预测模型的构建方法、装置及存储介质 |
| CN111553209A (zh) * | 2020-04-15 | 2020-08-18 | 同济大学 | 一种基于卷积神经网络和时间序列图的司机行为识别方法 |
| CN114282583A (zh) * | 2021-04-29 | 2022-04-05 | 阿波罗智联(北京)科技有限公司 | 图像分类模型训练分类方法、装置、路侧设备和云控平台 |
| CN114387587A (zh) * | 2022-01-14 | 2022-04-22 | 东北大学 | 一种疲劳驾驶监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114898339A (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108984724B (zh) | 利用高维表示提高特定属性情感分类准确率方法 | |
| AU2019360080B2 (en) | Image captioning with weakly-supervised attention penalty | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| CN112819023B (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN111914085A (zh) | 文本细粒度情感分类方法、系统、装置及存储介质 | |
| CN112818861A (zh) | 一种基于多模态上下文语义特征的情感分类方法及系统 | |
| WO2023179429A1 (zh) | 一种视频数据的处理方法、装置、电子设备及存储介质 | |
| US11599749B1 (en) | Method of and system for explainable knowledge-based visual question answering | |
| CN114330966A (zh) | 一种风险预测方法、装置、设备以及可读存储介质 | |
| CN114332893A (zh) | 表格结构识别方法、装置、计算机设备和存储介质 | |
| CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
| CN114880307A (zh) | 一种开放教育领域知识的结构化建模方法 | |
| CN111445545B (zh) | 一种文本转贴图方法、装置、存储介质及电子设备 | |
| CN116975743A (zh) | 行业信息分类方法、装置、计算机设备和存储介质 | |
| CN116977701A (zh) | 视频分类模型训练的方法、视频分类的方法和装置 | |
| CN114898339B (zh) | 驾驶行为预测模型的训练方法、装置、设备、存储介质 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| CN113610080B (zh) | 基于跨模态感知的敏感图像识别方法、装置、设备及介质 | |
| CN111723301A (zh) | 基于层次化主题偏好语义矩阵的关注关系识别及标注方法 | |
| CN113792163B (zh) | 多媒体推荐方法、装置、电子设备及存储介质 | |
| CN114511023B (zh) | 分类模型训练方法以及分类方法 | |
| CN116702784B (zh) | 实体链接方法、装置、计算机设备和存储介质 | |
| CN117520209B (zh) | 代码评审方法、装置、计算机设备和存储介质 | |
| CN117649567B (zh) | 数据标注方法、装置、计算机设备和存储介质 | |
| CN118035098A (zh) | 人工智能系统失效表征分析方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |