CN116959078A - 疲劳检测模型的构建方法、疲劳检测方法及其装置 - Google Patents

Abstract

本发明提供了一种疲劳检测模型的构建方法、疲劳检测方法及其装置，涉及疲劳状态检测的技术领域，包括：获取样本数据集合，其中，样本数据集合包括：驾驶员的面部图像集合和各项驾驶员面部图像对应的疲劳状态标签集合；过预设数据处理模型，对驾驶员面部图像集合和疲劳状态标签集合进行数据预处理，确定目标特征集和目标特征集对应的特征权重；根据目标特征集和特征权重对预设分类器进行分类训练，确定疲劳检测模型，其中，疲劳检测模型用于对驾驶员的疲劳状态进行检测。本发明可以通过数据预处理，精确提取对驾驶员疲劳状态影响最大的特征，进而提升疲劳检测的精确度。

Description

疲劳检测模型的构建方法、疲劳检测方法及其装置

技术领域

本发明涉及疲劳状态检测的技术领域，尤其是涉及一种疲劳检测模型的构建方法、疲劳检测方法及其装置。

背景技术

驾驶员疲劳检测是交通安全领域的重要研究课题，因为驾驶员疲劳是造成交通事故的重要因素之一。驾驶员的疲劳状态会显著影响其驾驶技能，包括视觉注意力、反应时间、决策能力等，这些都可能导致严重的交通事故，因此，对驾驶员疲劳的准确检测非常重要。

目前，相关技术提出，可以通过生理信号分析、行为信号分析以及混合信号分析等方法对驾驶员疲劳状态进行检测，但上述方案的样本数据受人为因素的影响较大，从而导致样本数据的质量较低，进而影响疲劳检测的精确度。

发明内容

有鉴于此，本发明的目的在于提供一种疲劳检测模型的构建方法、疲劳检测方法及其装置，可以通过数据预处理，精确提取对驾驶员疲劳状态影响最大的特征，进而提升疲劳检测的精确度。

第一方面，本发明实施例提供了一种疲劳检测模型的构建方法，方法包括：获取样本数据集合，其中，样本数据集合包括：驾驶员的面部图像集合和各项驾驶员面部图像对应的疲劳状态标签集合；通过预设数据处理模型，对驾驶员面部图像集合和疲劳状态标签集合进行数据预处理，确定目标特征集和目标特征集对应的特征权重；根据目标特征集和特征权重对预设分类器进行分类训练，确定疲劳检测模型，其中，疲劳检测模型用于对驾驶员的疲劳状态进行检测。

在一种实施方式中，预设数据处理模型包括：数据清洗单元、数据扩充单元和特征提取单元，通过预设数据处理模型，对驾驶员的面部图像集合和疲劳状态标签集合进行数据预处理，确定目标特征集和目标特征集对应的特征权重的步骤，包括：通过数据清洗单元，对面部图像集合和疲劳状态标签集合进行数据清洗和标准化处理，确定标准化数据集合；通过数据扩充单元，对标准化数据集合进行数据扩充处理，确定目标标准化数据集合；将目标标准化数据集合进行数据清洗和标准化处理后，发送至特征提取单元；通过特征提取单元，提取目标标准化数据集合中，对驾驶员疲劳状态影响最大的目标特征集和目标特征集对应的特征权重。

在一种实施方式中，通过数据扩充单元，对标准化数据集合进行数据扩充处理，确定目标标准化数据集合的步骤，包括：利用预设SMOTE算法对标准化数据集合进行数据扩充处理，确定第一扩充样本，并根据预设小生境算法计算第一扩充样本的第一样本密度，其中，第一扩充样本中包括：原始样本和扩充样本；当样本密度不低于预设样本阈值时，将第一扩充样本确定为目标标准化数据集合；当样本密度低于预设样本阈值时，通过在扩充样本中添加预设自适应权重，确定第二扩充样本，并将第二扩充样本确定为目标标准化数据集合。

在一种实施方式中，通过特征提取单元，提取目标标准化数据集合中，对驾驶员疲劳状态影响最大的目标特征集和目标特征集对应的特征权重的步骤，包括：通过预设卷积神经网络对目标标准化数据集合进行特征选择处理，确定第一特征集，其中，第一特征集中，每一项特征分别对应一个权重；利用第一特征集中各项特征训练预设分类器，确定各项特征对应的性能参数；通过自适应特征融合算法，基于第一特征集和性能参数，确定各项特征对应的特征权重；将特征权重与第一特征集进行自适应特征融合，确定第二特征集，并将第二特征集确定为目标特征集。

在一种实施方式中，预设分类器包括：基础分类器和负反馈模型，根据目标特征集和特征权重对预设分类器进行分类训练，确定疲劳检测模型的步骤，包括：将目标特征集和特征权重发送至基础分类器中进行分类训练，确定第一训练结果，其中，第一训练结果中包括：面部图像的特征值、疲劳状态标签、特征权重和模型预测结果；通过负反馈模型对第一训练结果进行权重更新处理，确定第二训练结果；当第一训练结果中不存在预测误差时，第一训练结果与第二训练结果相同，根据第一训练结果确定疲劳检测模型；当第一训练结果中存在预测误差时，第一训练结果与第二训练结果不同，利用第二训练结果训练梯度提升决策树模型，并根据第一训练结果和梯度提升决策树模型，确定疲劳检测模型。

在一种实施方式中，通过负反馈模型对第一训练结果进行权重更新处理，确定第二训练结果的步骤，包括：通过负反馈模型，将特征值对应的模型预测结果与疲劳状态标签进行对比，并基于对比结果，对特征权重进行权重更新处理；当模型预测结果与疲劳状态标签相同时，特征权重不变；当模型预测结果与疲劳状态标签不同时，通过预设增大因子，增加特征权重；利用权重更新后的特征权重，确定第二训练结果。

第二方面，本发明实施例还提供一种疲劳检测方法，方法包括：实时获取驾驶员的状态信息；将状态信息进行数据预处理后，输入至预先构建的疲劳检测模型中，确定疲劳检测结果，并根据疲劳检测结果对驾驶员进行告警提醒；其中，疲劳检测模型为基于第一方面提供的任一项的疲劳检测模型的构建方法构建得到的。

第三方面，本发明实施例还提供一种疲劳检测模型的构建装置，装置包括：数据获取模块，获取样本数据集合，其中，样本数据集合包括：驾驶员的面部图像集合和各项驾驶员面部图像对应的疲劳状态标签集合；数据处理模块，通过预设数据处理模型，对驾驶员面部图像集合和疲劳状态标签集合进行数据预处理，确定目标特征集和目标特征集对应的特征权重；模型训练模块，根据目标特征集和特征权重对预设分类器进行分类训练，确定疲劳检测模型，其中，疲劳检测模型用于对驾驶员的疲劳状态进行检测。

第四方面，本发明实施例还提供一种疲劳检测装置，装置包括：状态采集模块，实时获取驾驶员的状态信息；疲劳检测模块，将状态信息进行数据预处理后，输入至预先构建的疲劳检测模型中，确定疲劳检测结果，并根据疲劳检测结果对驾驶员进行告警提醒；其中，疲劳检测模型为基于第一方面提供的任一项的疲劳检测模型的构建方法构建得到的。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种疲劳检测模型的构建方法、疲劳检测方法及其装置，该方法在获取样本数据集合后，通过预设数据处理模型，对驾驶员面部图像集合和疲劳状态标签集合进行数据预处理，确定目标特征集和目标特征集对应的特征权重，并根据目标特征集和特征权重对预设分类器进行分类训练，确定疲劳检测模型，本发明实施例可以通过数据预处理，精确提取对驾驶员疲劳状态影响最大的特征，进而提升疲劳检测的精确度。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种疲劳检测模型的构建方法的流程示意图；

图2为本发明实施例提供的一种疲劳检测方法的流程示意图；

图3为本发明实施例提供的一种疲劳检测模型的构建装置的结构示意图；

图4为本发明实施例提供的一种疲劳检测装置的结构示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，驾驶员疲劳检测是交通安全领域的重要研究课题，因为驾驶员疲劳是造成交通事故的重要因素之一，驾驶员的疲劳状态会显著影响其驾驶技能，包括视觉注意力、反应时间、决策能力等，这些都可能导致严重的交通事故，因此，对驾驶员疲劳的准确检测非常重要；近年来，随着人工智能和计算机视觉技术的快速发展，基于这些技术的驾驶员疲劳检测方法得到了广泛的研究。

现有技术目前仍存在以下几项问题：1、数据采集和标注过程中可能存在主观性和人为误差，导致数据质量不高；2、数据预处理过程中的清洗和标准化方法可能无法完全消除数据中的噪声和不一致性；3、数据扩充方法虽然提高了数据集的多样性，但生成的合成样本可能无法完全反映真实样本的特征分布；4、特征提取过程中的卷积神经网络可能会受到数据质量和样本不平衡的影响，导致特征提取效果不理想；5、分类器训练过程中的随机森林和混合模型可能需要调整一些超参数，对模型的性能敏感，且检测精度难以提升，基于此，本发明实施提供的疲劳检测模型的构建方法，可以通过数据预处理，精确提取对驾驶员疲劳状态影响最大的特征，进而提升疲劳检测的精确度。

参见图1所示的一种疲劳检测方法的流程示意图，该方法主要包括以下步骤S102至步骤S106：

步骤S102，获取样本数据集合，其中，样本数据集合包括：驾驶员的面部图像集合和各项驾驶员面部图像对应的疲劳状态标签集合，在一种实施方式中，每一个样本数据都包含一个驾驶员的面部图像和相应的疲劳状态标签，面部图像以RGB或者灰度图的形式存储，疲劳状态标签为二值，用于表示驾驶员是否疲劳。

步骤S104，通过预设数据处理模型，对驾驶员面部图像集合和疲劳状态标签集合进行数据预处理，确定目标特征集和目标特征集对应的特征权重，其中，预设数据处理模型包括：数据清洗单元、数据扩充单元和特征提取单元，在一种实施方式中，预设数据处理模型可以包括三个功能：1、对样本数据集合进行数据清洗，从而删除或更正数据库中的错误、重复、不完整或无关的数据；2、为了增强模型的泛化能力并避免过拟合，通过数据扩充通过在原始数据上进行操作生成新的数据，从而提升训练数据集的多样性；3、对扩充后的数据进行再次的数据清洗，以清除异常数据，提高数据质量，然后，利用卷积神经网络进行特征提取。

步骤S106，根据目标特征集和特征权重对预设分类器进行分类训练，确定疲劳检测模型，其中，疲劳检测模型用于对驾驶员的疲劳状态进行检测，在一种实施方式中，在训练疲劳检测模型时，可以选用随机森林作为基础分类器，并引入负反馈机制和混合模型训练策略进行模型优化，利用负反馈机制增强了模型对错误分类样本的关注度，使混合模型结合了随机森林和梯度提升决策树的优点，提升了模型的泛化能力，并通过训练分类器，得到了能够准确分类驾驶员疲劳状态的模型。

本发明实施例提供的上述疲劳检测模型的构建方法，可以通过数据预处理，精确提取对驾驶员疲劳状态影响最大的特征，进而提升疲劳检测的精确度。

本发明实施例还提供了一种疲劳检测模型的构建方法的实施方式，具体的参见如下（A）至（C）：

（1）针对驾驶员在不同驾驶环境下的面部图像和相关行为数据进行数据采集，其中，数据来源于两个场景：实际道路驾驶和模拟驾驶，在实际道路驾驶中，可以利用车载摄像头捕捉驾驶员面部图像和行为数据；在模拟驾驶中，可以利用模拟驾驶设备，通过人为控制的环境获取驾驶员的面部图像和行为数据，在一种实施方式中，对于每一个面部图像，属性包括：眼部状态（例如眼睛闭合程度、眼球运动等）、面部表情（例如嘴部张合程度、面部肌肉紧张度等）、头部姿态（例如倾斜角度、摇头频率等）等，这些属性均为图像的特征值，通过计算机视觉技术从图像中提取，每个样本的数据特征由上述提取的数据属性组成。

在实际应用中，可以用一个特征向量来表示每个样本的数据特征：，其中/>，/>和/>分别代表眼部状态、面部表情和头部姿态的特征值，此时，每个样本的疲劳状态标签由专业人员根据驾驶员的面部表情、眼部状态、头部姿态以及其他相关行为进行标注，若一个驾驶员的眼睛闭合程度超过一定阈值，或者头部摇晃频率超过一定阈值，那么就将这个驾驶员的疲劳状态标签标记为1，否则标记为0。

在一种实施方式中，可以定义一个函数，可以接受一个样本的特征向量/>，并输出该样本的疲劳状态标签，如果/>（眼部状态特征值）超过阈值/>，则，否则/>。

其中，和/>是事先确定的阈值，表示眼部状态和头部姿态的疲劳阈值。

则最后得到的数据集可以表示为：

其中，是样本总数，每一个/>对应一个样本的特征向量和疲劳状态标签。

（2）对样本数据集合进行数据预处理的步骤，具体参见如下（a）至（c）：

（a）通过数据清洗单元，对面部图像集合和疲劳状态标签集合进行数据清洗和标准化处理，确定标准化数据集合，其中，通过数据清洗可以将所有不包含完整面部图像全部剔除，并将有两个或更多的样本具有相同的面部图像，但疲劳状态标签不同的样本剔除，在一种实施方式中，数据清洗的过程可以表示为一个函数，它接受原始数据集/>并返回清洗后的数据集/>：

进一步地，进行数据标准化，其中，数据标准化的目的是将特征值调整到同一数量级，消除不同特征值之间的数量级差异带来的影响。

基于此，每一个特征向量都被标准化为：

，

其中，，/>，/>，/>，和/>是眼部状态、面部表情和头部姿态特征值的均值，/>，/>和/>是眼部状态、面部表情和头部姿态特征值的标准差。

上述数据标准化过程可以表示为函数，它用于接受清洗后的数据集/>并返回标准化后的数据集/>：

从而通过数据预处理步骤，确保了数据的质量和一致性，为后续步骤提供了高质量的输入。

（b）通过数据扩充单元，对标准化数据集合进行数据扩充处理，确定目标标准化数据集合，并将目标标准化数据集合进行数据清洗和标准化处理后，发送至特征提取单元，在一种实施方式中，利用预设SMOTE算法对标准化数据集合进行数据扩充处理，确定第一扩充样本，并根据预设小生境算法计算第一扩充样本的第一样本密度，当样本密度不低于预设样本阈值时，将第一扩充样本确定为目标标准化数据集合；当样本密度低于预设样本阈值时，通过在扩充样本中添加预设自适应权重，确定第二扩充样本，并将第二扩充样本确定为目标标准化数据集合，其中，第一扩充样本中包括：原始样本和扩充样本，在实际应用中，基于Smote算法和小生境算法的数据扩充方法，首先需要基于聚类分析进行数据扩充，对原始数据进行聚类，然后在每个聚类中心周围生成新的样本。

在具体实现时，对于数据集，用聚类算法对/>进行聚类，得到/>个聚类中心，以及相应的聚类半径/>，对于每一个聚类中心/>，生成/>个新的样本/>，生成方法如下：

其中，/>是一个随机数，范围在/>之间，/>是一个单位向量，它的方向是在特征空间中随机选择的。

基于此，可以利用Smote算法进行数据扩充，其中，Smote算法是一种基于随机过采样技术的数据扩充方法，它通过为少数类样本生成新的合成样本来扩大少数类样本的规模，在一种实施方式中，改进的Smote算法是在每个少数类样本的特征空间中，通过随机选择其k个最近邻样本，然后在每个邻近样本和目标样本之间随机插值来生成新的样本；设为一个少数类样本集，对于/>中的每一个样本/>，其/>个最近邻样本集为/>。对于样本集，基于小生境算法计算密度，其中，小生境算法是一种基于数据密度的无监督学习算法，它能够根据数据分布的密度变化确定数据的异常程度。

在实际应用中，改进的小生境算法是通过衡量数据点在特征空间中的邻居的密度，对于样本集中的每一个样本/>，其在特征空间中的密度/>可以定义为：

其中，表示样本/>和/>在特征空间中的距离。

对于密度低于阈值的样本，利用改进的Smote算法生成新的样本。传统的SMOTE算法作为经典的数据扩充算法，是通过在少数类样本之间进行插值来生成新的样本，但是有时候简单的插值会造成新生成的样本过于集中，没有充分反映数据的分布特性，也可能引入噪声。

为了改进上述情况，基于自适应权重的SMOTE算法进行了改进：假设和/>是数据集中的两个少数类样本，按照原始的SMOTE算法，新生成的样本/>可以表示为：

其中是[0,1]之间的随机数，而在改进的SMOTE算法中，引入了一个自适应权重，新生成的样本/>变为：

自适应权重的计算公式为：

其中表示两个样本之间的距离，/>是少数类样本的总数。

基于此，距离更远的样本/>会有更小的权重，生成的新样本也会更倾向于靠近，从而更好地保留了原始数据的分布特性。

（c）通过特征提取单元，提取目标标准化数据集合中，对驾驶员疲劳状态影响最大的目标特征集和目标特征集对应的特征权重，在一种实施方式中，通过预设卷积神经网络对目标标准化数据集合进行特征选择处理，确定第一特征集，其中，第一特征集中，每一项特征分别对应一个权重，利用第一特征集中各项特征训练预设分类器，确定各项特征对应的性能参数，通过自适应特征融合算法，基于第一特征集和性能参数，确定各项特征对应的特征权重，将特征权重与第一特征集进行自适应特征融合，确定第二特征集，并将第二特征集确定为目标特征集，其中，卷积神经网络由卷积层、池化层和全连接层等组成，能有效提取图像的局部特征。

在一种实施方式中，设为卷积神经网络的特征提取操作，则得到新的特征集：

进一步地，为了减少特征的维数，使用L1正则化的方法进行特征选择，其中，L1正则化的优点是能够产生稀疏解，即，将不重要的特征的系数设为0。

若为L1正则化特征选择的操作，则得到最终的特征集为：

进一步地，进行自适应的特征融合，其中，自适应的特征融合算法通过自动调整各个特征的权重，以便更准确地反映出驾驶员的疲劳状况，对于特征选择之后的数据，得到了优质且具有较高区分度的特征集。

在具体实现时，为了进一步提升特征的表达能力，引入自适应特征融合算法，其中，自适应特征融合算法基于一个假设，即，不同的特征在描述驾驶员疲劳状态时有不同的重要性，因此，为每个特征分配一个权重，这个权重是自适应调整的，以最大化分类器的性能。

设为第/>个特征/>的权重，/>是通过以下方式计算得出：

其中，是在验证集上使用单一特征/>训练分类器得到的性能，是指数函数，它的作用是增强性能好的特征的权重，减弱性能差的特征的权重。

经过自适应特征融合，得到特征集：

在一种实施方式中，可以通过引入嵌入式特征选择方法，以随机森林为基础，加入了改进的特征重要性评估函数；具体的，首先使用随机森林作为基础分类器进行特征选择，其中，RF具有很好的泛化性能和抗过拟合能力，且能够提供特征重要性评估，设，/>表示以特征集/>训练的随机森林模型，然后，利用改进的特征重要性评估函数，该函数基于RF模型的输出，加入了特征的冗余度考虑，设是原始的特征/>的重要性，/>是特征/>的冗余度（与其他特征的相关性），那么改进的特征重要性/>可以定义为：

其中，是一个平衡因子，控制重要性和冗余度的权重。

特征选择的过程是一个贪心的过程：从所有特征中选择出一个初始特征，然后在剩余特征中选择一个与已选特征最不相关且重要性最高的特征，不断迭代直到满足停止条件（例如特征数达到预设值，或者新添加的特征对性能改善不明显），具体的选择过程可以表示为：

其中，是预设的阈值，/>是选择出的特征集。

这种改进的嵌入式特征选择方法，能够考虑到特征的重要性和冗余度，有效地选择出对驾驶员疲劳状态影响最大的特征，从而进一步提高驾驶员疲劳检测的精度。

（3）将目标特征集和特征权重发送至基础分类器中进行分类训练，确定第一训练结果，并通过负反馈模型对第一训练结果进行权重更新处理，确定第二训练结果：当第一训练结果中不存在预测误差时，第一训练结果与第二训练结果相同，根据第一训练结果确定疲劳检测模型；当第一训练结果中存在预测误差时，第一训练结果与第二训练结果不同，利用第二训练结果训练梯度提升决策树模型，并根据第一训练结果和梯度提升决策树模型，确定疲劳检测模型，其中，第一训练结果中包括：面部图像的特征值、疲劳状态标签、特征权重和模型预测结果，在一种实施方式中，通过负反馈模型，将特征值对应的模型预测结果与疲劳状态标签进行对比，并基于对比结果，对特征权重进行权重更新处理：当模型预测结果与疲劳状态标签相同时，特征权重不变；当模型预测结果与疲劳状态标签不同时，通过预设增大因子，增加特征权重；最后利用权重更新后的特征权重，确定第二训练结果，在一种实施方式中，上述方案选用随机森林作为基础分类器，同时引入了负反馈机制来进行模型优化，其中，随机森林算法是基于Bagging思想，构造多个决策树，并通过投票机制确定最终分类结果。

基于此，对随机森林算法进行了改进，引入了特征权重，增强了模型对重要特征的关注度，在生成决策树的过程中，不再是随机选择特征，而是根据特征的权重进行选择，在一种实施方式中，设是特征集，/>是对应的特征权重，那么改进的随机森林模型/>的决策树生成过程如下：

1.对于每一棵决策树，首先从训练集中进行有放回抽样，生成新的训练集；

2.在生成决策树的每个节点时，选择个特征，其中/>满足/>，特征的选择概率与其权重成正比；

3.对于选择的特征，找出最优的分裂点；

4.重复步骤2和步骤3，直到满足停止条件，生成一棵决策树；

5.重复步骤1到步骤4，生成棵决策树，形成随机森林。

在上述训练过程中，可以通过引入负反馈机制，增强模型对错误分类样本的关注度，具体地，通过增大被错误分类样本的权重，使得模型在后续的训练中更加关注这些样本；设是训练集，其中/>是特征，/>是标签，/>是样本权重，/>是模型对/>的预测结果。

对于每一轮训练，首先使用改进的随机森林进行训练，然后更新样本权重，样本权重的更新方式可以表示为：

其中，是一个预设的增大因子。

基于此，模型在每轮训练后，都会增大被错误分类样本的权重，从而在后续的训练中更加关注这些样本，最终提升模型的分类精度。

在另一种实施方式中，可以采用混合模型训练策略，结合梯度提升决策树和改进的随机森林提升模型的泛化能力，其中，梯度提升决策树是一种基于Boosting思想的集成学习方法，可以用于分类和回归问题，通过将简单的决策树模型组合起来，梯度提升决策树能够形成一个强大的模型；另一方面，梯度提升决策树的训练是一个逐步迭代的过程，每一步都是为了减小上一步模型的预测误差，因此，可以将改进的随机森林和梯度提升决策树结合为一个混合模型，这个混合模型的训练过程如下：

1.初始化模型，这里我们选择改进的随机森林作为初始模型；

2.进行轮迭代，对于每一轮/>：

3.计算当前模型的预测误差/>，其中/>是特征，/>是标签；

4.使用预测误差作为目标值，训练一个梯度提升决策树模型/>；

5.更新模型，其中/>是一个预设的学习率；

6.最终的模型。

上述混合模型结合了随机森林的并行训练优点和梯度提升决策树的序列优化优点，既能够充分挖掘数据中的特征，又能逐步优化模型的预测能力，从而提升模型的泛化能力。

在另一种实施方式中，在传统的混合模型训练中，梯度提升决策树的权重是固定的，而本发明提出通过考虑每个样本的预测误差来动态调整样本权重，使得模型在训练过程中更关注预测困难的样本，进一步提升模型性能，具体步骤如下：

1.初始化每个样本的权重，其中/>为样本数量；

2.在每轮迭代中，首先计算当前模型的预测误差/>；

3.根据预测误差更新样本权重：/>，其中/>是权重更新速率，是一个需要调整的超参数；

4.使用更新后的权重来训练梯度提升决策树模型；

5.按照上述混合模型训练策略的方法更新混合模型。

其中，样本权重更新公式可以表示为：

上述权重更新策略中，如果一个样本的预测误差大，则需要增加这个样本的权重，使得模型在后续的训练中更关注这个样本；相反，如果一个样本的预测误差小，那么我们减少这个样本的权重；自适应的权重更新策略不仅可以使模型更关注预测困难的样本，提高模型的泛化能力，还可以在一定程度上解决数据不平衡问题，因为预测困难的样本通常是少数类的样本。

参见图2所示的一种疲劳检测方法的流程示意图，该方法主要包括以下步骤S202至步骤S204：

步骤S202，实时获取驾驶员的状态信息，其中，实时通过传感器收集驾驶员的状态信息（包括脸部图像、生理信号等），并将上述状态信息作为输入数据，在一种实施方式中，需要对状态信息进行数据预处理和特征提取，提取出疲劳驾驶相关的特征，并将提取出的特征输入到训练好的疲劳检测模型中。

步骤S204，将状态信息进行数据预处理后，输入至预先构建的疲劳检测模型中，确定疲劳检测结果，并根据疲劳检测结果对驾驶员进行告警提醒，其中，疲劳检测模型为基于上述疲劳检测模型的构建方法构建得到的，在一种实施方式中，为了防止短时间内的误判，本发明还引入了一种基于时间序列的决策机制，通过记录最近T个预测结果，并使用多数投票策略来决定最终的疲劳状态，上述方案可以降低偶然的预测误差对系统性能的影响，其中，T是一个需要调整的参数，根据实际情况选择。

本发明实施例提供的上述疲劳检测方法，引入了基于时间序列的决策机制，通过记录最近的预测结果并进行多数投票策略，降低了短时间内的误判可能性，并利用训练好的模型和决策机制，能够实时对驾驶员的疲劳状态进行检测，提高道路行驶安全性。

综上所述，本发明可以在数据采集与标注中，通过实际道路驾驶和模拟驾驶两个场景，采集驾驶员的面部图像和相关行为数据，同时，将面部图像中的眼部状态、面部表情和头部姿态等属性作为特征值，并将驾驶员的疲劳状态进行标注，并通过数据采集和标注，得到包含驾驶员面部图像、特征值和疲劳状态标签的数据集，从而为后续的疲劳检测提供了训练样本。

在数据预处理时进行数据清洗和标准化操作，清洗删除不完整、重复或无关的数据样本，保证了数据的质量和一致性，将数据标准化将特征值调整到同一数量级，消除了不同特征值之间的数量级差异，并通过数据预处理，得到了清洗后的高质量数据集，为后续的特征提取和模型训练提供了准备。

在进行数据扩充时，基于聚类分析和改进的Smote算法的数据扩充方法，通过聚类分析在每个聚类中心周围生成新的样本，并利用改进的Smote算法在少数类样本之间生成新的合成样本，利用数据扩充增加了训练数据集的多样性，提升了模型的泛化能力和鲁棒性。

在进行特征提取时，利用卷积神经网络进行特征提取，引入L1正则化进行特征选择，以减少特征的维数，同时，通过自适应的特征融合算法，根据特征的重要性和冗余度动态调整特征的权重，进而通过特征提取和选择，得到了优质且具有较高区分度的特征集，提高了驾驶员疲劳状态的表达能力。

对于前述实施例提供的疲劳检测模型的构建方法，本发明实施例提供了一种疲劳检测模型的构建装置，参见图3所示的一种疲劳检测模型的构建装置的结构示意图，该装置包括以下部分：

数据获取模块302，获取样本数据集合，其中，样本数据集合包括：驾驶员的面部图像集合和各项驾驶员面部图像对应的疲劳状态标签集合；

数据处理模块304，通过预设数据处理模型，对驾驶员面部图像集合和疲劳状态标签集合进行数据预处理，确定目标特征集和目标特征集对应的特征权重；

模型训练模块306，根据目标特征集和特征权重对预设分类器进行分类训练，确定疲劳检测模型，其中，疲劳检测模型用于对驾驶员的疲劳状态进行检测。

本申请实施例提供的上述疲劳检测模型的构建装置，可以通过数据预处理，精确提取对驾驶员疲劳状态影响最大的特征，进而提升疲劳检测的精确度。

一种实施方式中，预设数据处理模型包括：数据清洗单元、数据扩充单元和特征提取单元，在进行通过预设数据处理模型，对驾驶员的面部图像集合和疲劳状态标签集合进行数据预处理，确定目标特征集和目标特征集对应的特征权重的步骤时，上述数据处理模块304还用于：通过数据清洗单元，对面部图像集合和疲劳状态标签集合进行数据清洗和标准化处理，确定标准化数据集合；通过数据扩充单元，对标准化数据集合进行数据扩充处理，确定目标标准化数据集合；将目标标准化数据集合进行数据清洗和标准化处理后，发送至特征提取单元；通过特征提取单元，提取目标标准化数据集合中，对驾驶员疲劳状态影响最大的目标特征集和目标特征集对应的特征权重。

一种实施方式中，在进行通过数据扩充单元，对标准化数据集合进行数据扩充处理，确定目标标准化数据集合的步骤时，上述数据处理模块304还用于：利用预设SMOTE算法对标准化数据集合进行数据扩充处理，确定第一扩充样本，并根据预设小生境算法计算第一扩充样本的第一样本密度，其中，第一扩充样本中包括：原始样本和扩充样本；当样本密度不低于预设样本阈值时，将第一扩充样本确定为目标标准化数据集合；当样本密度低于预设样本阈值时，通过在扩充样本中添加预设自适应权重，确定第二扩充样本，并将第二扩充样本确定为目标标准化数据集合。

一种实施方式中，在进行通过特征提取单元，提取目标标准化数据集合中，对驾驶员疲劳状态影响最大的目标特征集和目标特征集对应的特征权重的步骤时，上述数据处理模块304还用于：通过预设卷积神经网络对目标标准化数据集合进行特征选择处理，确定第一特征集，其中，第一特征集中，每一项特征分别对应一个权重；利用第一特征集中各项特征训练预设分类器，确定各项特征对应的性能参数；通过自适应特征融合算法，基于第一特征集和性能参数，确定各项特征对应的特征权重；将特征权重与第一特征集进行自适应特征融合，确定第二特征集，并将第二特征集确定为目标特征集。

一种实施方式中，预设分类器包括：基础分类器和负反馈模型，在进行根据目标特征集和特征权重对预设分类器进行分类训练，确定疲劳检测模型的步骤时，上述模型训练模块306还用于：将目标特征集和特征权重发送至基础分类器中进行分类训练，确定第一训练结果，其中，第一训练结果中包括：面部图像的特征值、疲劳状态标签、特征权重和模型预测结果；通过负反馈模型对第一训练结果进行权重更新处理，确定第二训练结果；当第一训练结果中不存在预测误差时，第一训练结果与第二训练结果相同，根据第一训练结果确定疲劳检测模型；当第一训练结果中存在预测误差时，第一训练结果与第二训练结果不同，利用第二训练结果训练梯度提升决策树模型，并根据第一训练结果和梯度提升决策树模型，确定疲劳检测模型。

一种实施方式中，在进行通过负反馈模型对第一训练结果进行权重更新处理，确定第二训练结果的步骤时，上述模型训练模块306还用于：通过负反馈模型，将特征值对应的模型预测结果与疲劳状态标签进行对比，并基于对比结果，对特征权重进行权重更新处理；当模型预测结果与疲劳状态标签相同时，特征权重不变；当模型预测结果与疲劳状态标签不同时，通过预设增大因子，增加特征权重；利用权重更新后的特征权重，确定第二训练结果。

对于前述实施例提供的疲劳检测方法，本发明实施例提供了一种疲劳检测装置，参见图4所示的一种疲劳检测装置的结构示意图，该装置包括以下部分：

状态采集模块402，实时获取驾驶员的状态信息；

疲劳检测模块404，将状态信息进行数据预处理后，输入至预先构建的疲劳检测模型中，确定疲劳检测结果，并根据疲劳检测结果对驾驶员进行告警提醒；其中，疲劳检测模型为基于上述疲劳检测模型的构建方法构建得到的。

本申请实施例提供的上述疲劳检测装置，可以对驾驶员的疲劳状态进行实时检测，并在检测到驾驶员状态异常时，及时进行提醒。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种疲劳检测模型的构建方法，其特征在于，所述方法包括：

获取样本数据集合，其中，所述样本数据集合包括：驾驶员面部图像集合和各项驾驶员面部图像对应的疲劳状态标签集合；

通过预设数据处理模型，对所述驾驶员面部图像集合和所述疲劳状态标签集合进行数据预处理，确定目标特征集和所述目标特征集对应的特征权重；

根据所述目标特征集和所述特征权重对预设分类器进行分类训练，确定疲劳检测模型，其中，所述疲劳检测模型用于对驾驶员的疲劳状态进行检测。

2.根据权利要求1所述的疲劳检测模型的构建方法，其特征在于，所述预设数据处理模型包括：数据清洗单元、数据扩充单元和特征提取单元，所述通过预设数据处理模型，对所述驾驶员的面部图像集合和所述疲劳状态标签集合进行数据预处理，确定目标特征集和所述目标特征集对应的特征权重的步骤，包括：

通过所述数据清洗单元，对所述面部图像集合和所述疲劳状态标签集合进行数据清洗和标准化处理，确定标准化数据集合；

通过所述数据扩充单元，对所述标准化数据集合进行数据扩充处理，确定目标标准化数据集合；

将所述目标标准化数据集合进行数据清洗和标准化处理后，发送至所述特征提取单元；

通过所述特征提取单元，提取所述目标标准化数据集合中，对驾驶员疲劳状态影响最大的所述目标特征集和所述目标特征集对应的特征权重。

3.根据权利要求2所述的疲劳检测模型的构建方法，其特征在于，所述通过所述数据扩充单元，对所述标准化数据集合进行数据扩充处理，确定目标标准化数据集合的步骤，包括：

利用预设SMOTE算法对所述标准化数据集合进行数据扩充处理，确定第一扩充样本，并根据预设小生境算法计算所述第一扩充样本的第一样本密度，其中，所述第一扩充样本中包括：原始样本和扩充样本；

当所述样本密度不低于预设样本阈值时，将所述第一扩充样本确定为所述目标标准化数据集合；

当所述样本密度低于预设样本阈值时，通过在所述扩充样本中添加预设自适应权重，确定第二扩充样本，并将所述第二扩充样本确定为所述目标标准化数据集合。

4.根据权利要求2所述的疲劳检测模型的构建方法，其特征在于，所述通过所述特征提取单元，提取所述目标标准化数据集合中，对驾驶员疲劳状态影响最大的所述目标特征集和所述目标特征集对应的特征权重的步骤，包括：

通过预设卷积神经网络对所述目标标准化数据集合进行特征选择处理，确定第一特征集，其中，所述第一特征集中，每一项特征分别对应一个权重；

利用所述第一特征集中各项特征训练所述预设分类器，确定各项特征对应的性能参数；

通过自适应特征融合算法，基于所述第一特征集和所述性能参数，确定各项特征对应的所述特征权重；

将所述特征权重与所述第一特征集进行自适应特征融合，确定第二特征集，并将所述第二特征集确定为所述目标特征集。

5.根据权利要求1所述的疲劳检测模型的构建方法，其特征在于，所述预设分类器包括：基础分类器和负反馈模型，所述根据所述目标特征集和所述特征权重对预设分类器进行分类训练，确定疲劳检测模型的步骤，包括：

将所述目标特征集和所述特征权重发送至所述基础分类器中进行分类训练，确定第一训练结果，其中，所述第一训练结果中包括：面部图像的特征值、所述疲劳状态标签、所述特征权重和模型预测结果；

通过所述负反馈模型对所述第一训练结果进行权重更新处理，确定第二训练结果；

当所述第一训练结果中不存在预测误差时，所述第一训练结果与所述第二训练结果相同，根据所述第一训练结果确定所述疲劳检测模型；

当所述第一训练结果中存在预测误差时，所述第一训练结果与所述第二训练结果不同，利用所述第二训练结果训练梯度提升决策树模型，并根据所述第一训练结果和所述梯度提升决策树模型，确定所述疲劳检测模型。

6.根据权利要求5所述的疲劳检测模型的构建方法，其特征在于，所述通过所述负反馈模型对所述第一训练结果进行权重更新处理，确定第二训练结果的步骤，包括：

通过所述负反馈模型，将所述特征值对应的所述模型预测结果与所述疲劳状态标签进行对比，并基于对比结果，对所述特征权重进行权重更新处理；

当所述模型预测结果与所述疲劳状态标签相同时，所述特征权重不变；

当所述模型预测结果与所述疲劳状态标签不同时，通过预设增大因子，增加所述特征权重；

利用权重更新后的所述特征权重，确定所述第二训练结果。

7.一种疲劳检测方法，其特征在于，所述方法包括：

实时获取驾驶员的状态信息；

将所述状态信息进行数据预处理后，输入至预先构建的疲劳检测模型中，确定疲劳检测结果，并根据所述疲劳检测结果对所述驾驶员进行告警提醒；

其中，所述疲劳检测模型为基于权利要求1-6任一项所述的疲劳检测模型的构建方法构建得到的。

8.一种疲劳检测模型的构建装置，其特征在于，所述装置包括：

数据获取模块，获取样本数据集合，其中，所述样本数据集合包括：驾驶员面部图像集合和各项驾驶员面部图像对应的疲劳状态标签集合；

数据处理模块，通过预设数据处理模型，对所述驾驶员面部图像集合和所述疲劳状态标签集合进行数据预处理，确定目标特征集和所述目标特征集对应的特征权重；

模型训练模块，根据所述目标特征集和所述特征权重对预设分类器进行分类训练，确定疲劳检测模型，其中，所述疲劳检测模型用于对驾驶员的疲劳状态进行检测。

9.一种疲劳检测装置，其特征在于，所述装置包括：

状态采集模块，实时获取驾驶员的状态信息；

疲劳检测模块，将所述状态信息进行数据预处理后，输入至预先构建的疲劳检测模型中，确定疲劳检测结果，并根据所述疲劳检测结果对所述驾驶员进行告警提醒；

其中，所述疲劳检测模型为基于权利要求1-6任一项所述的疲劳检测模型的构建方法构建得到的。