CN115984830A - 安全带佩戴检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及物流技术领域，尤其涉及一种安全带佩戴检测方法、装置、设备及存储介质，通过间隔获取驾驶室的原始图像数据得到图像样本数据集；对图像数据集中的安全带进行标注处理，以得到关于安全带的标注数据；对图像样本数据集进行扩增处理，使图像样本数据集内的图像数据得到扩增，避免样本出现失衡的问题；根据Mask R‑CNN模型预搭建一个实例分割模型即预分类识别模型，并且根据目标图像数据集和标注数据对预分类识别模型进行训练，以得到可自动识别安全带的安全带识别模型；通过安全带识别模型对实时图像进行分类预测，快速获知驾驶员身上是否佩戴有安全带，当安全带识别模型并未识别到实时图像中存在安全带区域时，则向驾驶室或驾驶员发送预警信号。

Description

安全带佩戴检测方法、装置、设备及存储介质

技术领域

本发明涉及物流技术领域，尤其涉及一种安全带佩戴检测方法、装置、设备及存储介质。

背景技术

现有的货车、轿车等车辆基本配置有安全带检测装置，主要是根据压力传感器检测安全带锁舌的状态和车速状态来判定驾驶员是否佩戴安全带，但现有的检测方式存在缺陷，若乘客或司机单独将锁舌扣入锁扣内，实际并没有将安全带佩戴于胸前，压力传感器仍会判断安全带佩戴完成，并不会发出相应的警报。

可见，现有技术还有待改进和提高。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种安全带佩戴检测方法、装置、设备及存储介质，其可根据实时驾驶室的图像判断驾驶员或乘客是否佩戴安全带，并根据佩戴情况进行安全提示。

本发明第一方面提供了一种安全带佩戴检测方法，包括：根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集；所述原始图像数据包括驾驶室的图像；对图像样本数据集进行标注处理，得到标注数据；所述标注数据包括安全带特征；对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集；基于Mask R-CNN模型搭建预分类识别模型；对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型；获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号。

可选的，在本发明第一方面的第一种实现方式中，所述根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集，包括：根据车内的视频数据，并根据预设时间间隔截取视频数据的画面，以得到原始图像数据；对原始图像数据进行筛选处理，若原始图像数据中存在人物特征则作为预筛选样本；对预筛选样本进行分类处理，以得到第一分类样本和第二分类样本；所述第一分类样本为驾驶员佩戴有安全带的图像数据，所述第二分类样本为驾驶员未佩戴安全带的图像数据；将第一分类样本和第二分类样本进行整合处理，以得到图像样本数据集。

可选的，在本发明第一方面的第二种实现方式中，所述对图像样本数据集进行标注处理，得到标注数据；所述标注数据包括安全带特征，包括：通过Labelme工具对图像样本数据中的图像的驾驶位区域进行标注，以得到第一标注图集；通过Labelme工具对第一标注图集中的图像的人物和安全带进行标注，以得到第二标注图集；对第二标注图集进行筛选，以得到含有安全带特征的标注数据。

可选的，在本发明第一方面的第三种实现方式中，所述对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集，包括：将图像样本数据集输入至Mosaic算法进行一次扩增处理，以得到第一扩增图像数据；所述第一扩增图像数据为通过Mosaic算法提取图像样本数据集中任意四张图像进行随机裁剪，再将四张图像的裁剪区域进行拼接所得到的图像数据；将第一扩增图像数据输入至Mixup算法进行二次扩增处理，以得到第二扩增图像数据；所述第二扩增图像数据为通过Mixup算法提取第一扩增图像数据中任意两张图像以预设比例进行混合所得到的图像数据；将第二扩增图像数据添加至图像样本数据集，以得到目标图像数据集。

可选的，在本发明第一方面的第四种实现方式中，所述基于Mask R-CNN模型搭建预分类识别模型，包括：基于Mask R-CNN模型构建基础架构，所述基础架构包括骨干网络、RPN模块、RoI Align模块和预测头；将Swin Transformer模型输入基础架构中，以使SwinTransformer模型作为基础架构的骨干网络；所述Swin Transformer模型包括patchpartition模块和四个由patch merging块和多个Swin transformer块组成的模块；获得由Swin Transformer模型与Mask R-CNN模型构成的预分类识别模型。

可选的，在本发明第一方面的第五种实现方式中，所述对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型，包括：获取预设权重比例数据，并根据预设权重比例数据对目标图像数据集进行按比例分配，得到图像训练集、图像验证集和图像测试集；将图像训练集和标注数据输入至预分类识别模型进行训练，得到多个具有不同结果的训练模型；将图像验证集分别输入至多个训练模型进行校验，得到多个预测结果；当预测结果满足预设条件，则将图像测试集输入至训练模型中，并对各个训练模型进行评分，将得分最高的训练模型作为安全带识别模型。

可选的，在本发明第一方面的第六种实现方式中，所述获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号，包括：将实时图像数据输入至安全带识别模型，通过安全带识别模型识别实时图像数据中是否存在安全带特征；若实时图像数据中存在安全带特征，则禁止发出预警信号；若实时图像数据中不存在安全带特征，则获取车辆的车速数据；若车速数据大于0公里每小时，则发出预警信号，并将预警信号上传至监控终端进行备份；若车速数据为0公里每小时，则禁止发出预警信号。

本发明第二方面提供了一种安全带佩戴检测装置，包括：获取模块，用于根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集；标注模块，用于对图像样本数据集进行标注处理，得到标注数据；数据扩增模块，用于对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集；建模模块，用于基于Mask R-CNN模型搭建预分类识别模型；训练模块，用于对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型；预警模块，用于获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号。

可选的，在本发明第二方面的第一种实现方式中，所述获取模块包括：截取单元，用于根据车内的视频数据，并根据预设时间间隔截取视频数据的画面，以得到原始图像数据；第一分类单元，用于对原始图像数据进行筛选处理，若原始图像数据中存在人物特征则作为预筛选样本；第二分类单元，用于对预筛选样本进行分类处理，以得到第一分类样本和第二分类样本；所述第一分类样本为驾驶员佩戴有安全带的图像数据，所述第二分类样本为驾驶员未佩戴安全带的图像数据；第一生成单元，用于将第一分类样本和第二分类样本进行整合处理，以得到图像样本数据集。

可选的，在本发明第二方面的第二种实现方式中，所述标注模块包括：第一标注单元，用于通过Labelme工具对图像样本数据中的图像的驾驶位区域进行标注，以得到第一标注图集；第二标注单元，用于通过Labelme工具对第一标注图集中的图像的人物和安全带进行标注，以得到第二标注图集；第三分类单元，用于对第二标注图集进行筛选，以得到含有安全带特征的标注数据。

可选的，在本发明第二方面的第三种实现方式中，所述数据扩增模块包括：裁剪单元，用于将图像样本数据集输入至Mosaic算法进行一次扩增处理，以得到第一扩增图像数据；混合单元，用于将第一扩增图像数据输入至Mixup算法进行二次扩增处理，以得到第二扩增图像数据；第二生成单元，用于将第二扩增图像数据添加至图像样本数据集，以得到目标图像数据集。

可选的，在本发明第二方面的第四种实现方式中，所述建模模块包括：构建单元，用于基于Mask R-CNN模型构建基础架构；替换单元，用于将Swin Transformer模型输入基础架构中，以使Swin Transformer模型作为基础架构的骨干网络；获得由SwinTransformer模型与Mask R-CNN模型构成的预分类识别模型。

可选的，在本发明第二方面的第五种实现方式中，所述训练模块包括：分配单元，用于获取预设权重比例数据，并根据预设权重比例数据对目标图像数据集进行按比例分配，得到图像训练集、图像验证集和图像测试集；第一训练单元，用于将图像训练集和标注数据输入至预分类识别模型进行训练，得到多个具有不同结果的训练模型；第二训练单元，用于将图像验证集分别输入至多个训练模型进行校验，得到多个预测结果；评分单元，用于当预测结果满足预设条件，则将图像测试集输入至训练模型中，并对各个训练模型进行评分，将得分最高的训练模型作为安全带识别模型。

可选的，在本发明第二方面的第六种实现方式中，所述预警模块包括：输入单元，用于将实时图像数据输入至安全带识别模型，通过安全带识别模型识别实时图像数据中是否存在安全带特征；判定单元，用于若实时图像数据中存在安全带特征，则禁止发出预警信号；若实时图像数据中不存在安全带特征，则获取车辆的车速数据；若车速数据大于0公里每小时，则发出预警信号，并将预警信号上传至监控终端进行备份；若车速数据为0公里每小时，则禁止发出预警信号。

本发明第三方面提供了一种安全带佩戴检测设备，所述安全带佩戴检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；至少一个所述处理器调用所述存储器中的所述指令，以使得所述安全带佩戴检测设备执行上述任一项所述的安全带佩戴检测方法的各个步骤。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述任一项所述安全带佩戴检测方法的各个步骤。

本发明的技术方案中，通过间隔获取驾驶室的原始图像数据并进行预处理，得到用于训练的图像样本数据集；对图像数据集中的安全带进行标注处理，以得到关于安全带的标注数据；对图像样本数据集进行扩增处理，使图像样本数据集内的图像数据得到扩增，提高样本数据的多样性，避免样本出现失衡的问题，以此得到相应的目标图像数据集；根据Mask R-CNN模型预搭建一个实例分割模型即预分类识别模型，并且根据目标图像数据集和标注数据对预分类识别模型进行训练，以得到可自动识别安全带的安全带识别模型；通过实时抓拍驾驶室内的场景图像，并将该实时图像输入至安全带识别模型进行分类预测，以快速获知驾驶员身上是否佩戴有安全带，当安全带识别模型并未识别到实时图像中存在安全带区域时，则向驾驶室或驾驶员发送预警信号，以提醒驾驶员佩戴安全带，即便驾驶员将锁舌扣入锁扣，且并未佩戴安全带的情况下也不存在漏报警的问题，提高检测安全带佩戴情况的准确性。

附图说明

图1为本发明实施例提供的安全带佩戴检测方法的第一种流程图；

图2为本发明实施例提供的安全带佩戴检测方法的第二种流程图；

图3为本发明实施例提供的安全带佩戴检测方法的第三种流程图；

图4为本发明实施例提供的安全带佩戴检测方法的第四种流程图

图5为本发明实施例提供的安全带佩戴检测装置的一种结构示意图；

图6为本发明实施例提供的安全带佩戴检测装置的另一种结构示意图；

图7为本发明实施例提供的安全带佩戴检测设备的结构示意图。

具体实施方式

本发明提供了一种安全带佩戴检测方法、装置、设备及存储介质，本发明通过间隔获取驾驶室的原始图像数据并进行预处理，得到用于训练的图像样本数据集；对图像数据集中的安全带进行标注处理，以得到关于安全带的标注数据；对图像样本数据集进行扩增处理，使图像样本数据集内的图像数据得到扩增，提高样本数据的多样性，避免样本出现失衡的问题，以此得到相应的目标图像数据集；根据Mask R-CNN模型预搭建一个实例分割模型即预分类识别模型，并且根据目标图像数据集和标注数据对预分类识别模型进行训练，以得到可自动识别安全带的安全带识别模型；通过实时抓拍驾驶室内的场景图像，并将该实时图像输入至安全带识别模型进行分类预测，以快速获知驾驶员身上是否佩戴有安全带，当安全带识别模型并未识别到实时图像中存在安全带区域时，则向驾驶室或驾驶员发送预警信号，以提醒驾驶员佩戴安全带。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中安全带佩戴检测方法的一个实施例包括：

101、根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集；所述原始图像数据包括驾驶室的图像；

在本实施例中，通过在一定时间间隔内对驾驶室的环境进行取样拍照，以获得包含有多张驾驶室图像的原始图像数据，由于原始图像数据中存在部分不可用的图像，所以需对原始图像数据进行预处理，将部分不可用的图像剔除出原始图像数据，然后再根据处理后的原始图像数据制作成用于训练识别模型的训练样本；通过上述方式可使图像样本数据集具有一定的时效性，使数据更贴近于实际的应用场景。

在本实施例中，可以理解的是，原始图像数据可通过车载摄像头、行车记录仪等具有拍摄功能的设备进行获取，当车载摄像头或行车记录仪拍摄了图像上传至后台数据库时，则自动获取后台数据库中的图像，即原始图像数据，并根据所获得的图像制作为图像样本数据集。

102、对图像样本数据集进行标注处理，得到标注数据；所述标注数据包括安全带特征；

在本实施例中，图像样本数据集中的图像内存在多种特征，如座椅、人物、方向盘、安全带等物件，为了得到安全带准确的标注信息，需将图像样本数据集内的图像进行标注，寻找到图像中关于安全带的区域对其进行圈定标记，以此得到含有安全带图像的标注数据；为了便于理解，通过以下例子进行说明，将图像样本数据输入图像标注软件(例如但不限于Labelme工具、BeaverDam工具和Imglab工具等)中，然后再通过图像标注软件中的标注工具借助闭合线条选中图像中的安全带，以得到包含安全带区域范围的图像，待标注完成后则通过图像标注软件生成相应的标注数据，以便于借助该标注数据对后续的模型进行训练。

103、对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集；

在本实施例中，仅通过原始图像数据作为图像样本数据集容易导致后续训练出现过拟合的问题，由于图像样本数据集的图像基本通过同一场景拍摄，图像容易出现某种相同的明显的特征，导致样本出现失衡的问题，所以需对图像样本数据集进行扩增，可通过单样本数据进行增强或多样本融合数据进行增强；当采用单样本数据进行增强时，可通过图像进行几何变换或颜色变换增加图像的多样性，以此避免样本出现失衡的问题，降低图像样本数据集中图像失衡的比例，对图像样本数据集加上噪声，掩码等方法可提升模型鲁棒性；需要说明的是，几何变换包括翻转、旋转、裁剪、变形、缩放等方式，颜色变换包括包括噪声、模糊、颜色变换、擦除、填充等方式；当采用多样本融合数据进行增强时，则在图像样本数据集中随机抽取至少两张图片分别经过基础数据增强操作(如随机翻转、随机裁剪等)处理后经像素以取平均值的形式叠加合成一个新的样本，标签为原样本标签中的一种，以此增大图像样本数据集的多样性，通过这样的方式可对图像中驾驶室的环境背景进行丰富，降低模型对图像的敏感度，提高模型的泛化能力。

104、基于Mask R-CNN模型搭建预分类识别模型；

在本实施例中，Mask R-CNN是一个实例分割模型，其可用于识别安全带类别的像素位置，基于Mask R-CNN模型建立用于识别安全带的预分类识别模型可有效提高对安全带识别的精准度。“实例分割”意味着对场景内的各个目标进行分段，无论它们是否属于同一类型，即识别驾驶座、人物、方向盘、安全带等，其不仅可识别出安全带的边界及其边界框位置之外的区域，还可以对边界框中的安全带对应的像素区域进行着色，以提高对安全带的识别效果；其工作原理如下：输入一张驾驶室的图片，对图片数据进行预处理(尺寸，归一化等等)；将处理好的图片传入预训练的神经网络中(ResNet等，优秀的主干特征提取网络)获得相应的feature map；通过feature map中的每一点设定ROI，获得多个ROI候选框，即预选定区域，其中包括安全带的选定区域；对多个ROI候选框送到RPN中进行二值分类(前景或后景)和BB回归(Bounding-box regression),过滤掉一部分候选的ROI，以消除部门与安全带不相关的选定区域；对剩下的ROI进行ROI Align操作(即先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来)；对这些ROI进行分类(N类别分类)，BB回归和Mask生成(在每一个ROI里面进行FCN操作)，以得到最终对于安全带区域的选定。

105、对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型；

在本实施例中，通过将目标图像数据集进行合理分配，以将目标图像数据集按一定比例分为图像训练集、图像验证集和图像测试集，并根据图像训练集、图像验证集、图像测试集和标注数据对预分类识别模型进行训练，使预分类识别模型达到收敛条件即可完成训练，从而获得用于识别安全带的安全带分类模型；此外，在训练过程中可根据预分类识别模型的输出结果调节图像训练集、图像验证集和图像测试集相对于目标图像数据集的比例，以使预分类识别模型可达到最优的输出结果；通过安全带分类模型对安全带进行识别判断，判断驾驶员在行车过程中是否佩戴安全带。

106、获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号；

在本实施例中，待得到安全带识别模型后，则可获取车辆在使用状态时其驾驶室内的实时图像，并将实时图像数据输入至安全带识别模型，通过安全带识别模型对实时图像中的安全带特征进行识别标定，当安全带识别模型检测实时图像数据中存在安全带区域，则判定驾驶员已佩戴安全带，不存在危险驾驶的情况，无需发送预警信号，当安全带识别模型检测实时图像数据中不存在安全带区域，则判定驾驶员未佩戴安全带，存在危险驾驶的情况，需及时向驾驶员发送预警信号，以对驾驶员进行安全提醒，减少事故发生的概率。

本发明实施例中，通过间隔获取驾驶室的原始图像数据并进行预处理，得到用于训练的图像样本数据集；对图像数据集中的安全带进行标注处理，以得到关于安全带的标注数据；对图像样本数据集进行扩增处理，使图像样本数据集内的图像数据得到扩增，提高样本数据的多样性，避免样本出现失衡的问题，以此得到相应的目标图像数据集；根据MaskR-CNN模型预搭建一个实例分割模型即预分类识别模型，并且根据目标图像数据集和标注数据对预分类识别模型进行训练，以得到可自动识别安全带的安全带识别模型；通过实时抓拍驾驶室内的场景图像，并将该实时图像输入至安全带识别模型进行分类预测，以快速获知驾驶员身上是否佩戴有安全带，当安全带识别模型并未识别到实时图像中存在安全带区域时，则向驾驶室或驾驶员发送预警信号，以提醒驾驶员佩戴安全带，即便驾驶员将锁舌扣入锁扣，且并未佩戴安全带的情况下也不存在漏报警的问题，提高检测安全带佩戴情况的准确性。

请参阅图2，本发明实施例中安全带佩戴检测方法的第二个实施例包括：

201、根据车内的视频数据，并根据预设时间间隔截取视频数据的画面，以得到原始图像数据；

在本实施例中，通过获取视频数据减少对车内环境图像数据的捕抓频率，以此减少数据处理量，提高数据的传输效率；当获取到视频数据时，则根据预设时间截取视频数据中的一帧画面作为样本数据，以此获得大量存有驾驶室画面的样本数据作为原始图像数据。

为了便于理解，通过以下例子进行说明：假设预设时间为5秒，视频数据的市场为1分钟，即60秒，当获取到视频数据时，则以5秒间隔对视频数据中的画面进行截取，从而获得12张驾驶室的画面作为样本数据。

202、对原始图像数据进行筛选处理，若原始图像数据中存在人物特征则作为预筛选样本；

在本实施例中，由于视频数据中存在驾驶员从上车至坐下行驶车辆的整个过程，所以所截取的视频画面中有部分图像是无效图像，所以需要对原始图像数据进行筛选，将不存在驾驶员的图像或驾驶员不清楚的图像(即驾驶员仍在进入驾驶室的动作画面)进行剔除，仅保留驾驶员已稳坐于驾驶座上的图像，从而获得预筛选样本；通过上述方式可提高样本来源的可靠性，避免在后续模型训练过程中对训练结果造成偏差。

203、对预筛选样本进行分类处理，以得到第一分类样本和第二分类样本；所述第一分类样本为驾驶员佩戴有安全带的图像数据，所述第二分类样本为驾驶员未佩戴安全带的图像数据；

204、将第一分类样本和第二分类样本进行整合处理，以得到图像样本数据集；

在本实施例中，将预筛选样本再次进行细分，将预筛选样本根据安全带佩戴情况进行分类，分为佩戴有安全带图像的第一分类样本和未佩戴安全带图像的第二分类样本，将两者进行区分可提高后续模型的训练效率。

205、通过Labelme工具对图像样本数据中的图像的驾驶位区域进行标注，以得到第一标注图集；

206、通过Labelme工具对第一标注图集中的图像的人物和安全带进行标注，以得到第二标注图集；

207、对第二标注图集进行筛选，以得到含有安全带特征的标注数据；

在本实施例中，通过Labelme工具对图像样本数据进行递进式标注，首先将某一驾驶室的环境图片进行标注，将位于驾驶位的区域进行选定，以缩小图像样本数据中图像的区域，随后再次通过Labelme工具对第一标注图集(即驾驶位区域的图像)进行标注，从中选中含有安全带特征的区域，以此得到含有安全带特征的标注数据，提高标注安全带区域的准确性。

208、将图像样本数据集输入至Mosaic算法进行一次扩增处理，以得到第一扩增图像数据；所述第一扩增图像数据为通过Mosaic算法提取图像样本数据集中任意四张图像进行随机裁剪，再将四张图像的裁剪区域进行拼接所得到的图像数据；

209、将第一扩增图像数据输入至Mixup算法进行二次扩增处理，以得到第二扩增图像数据；所述第二扩增图像数据为通过Mixup算法提取第一扩增图像数据中任意两张图像以预设比例进行混合所得到的图像数据；

210、将第二扩增图像数据添加至图像样本数据集，以得到目标图像数据集；

在本实施例中，图像样本数据首先通过Mosaic算法进行一次扩增，其通过在图像样本数据中随机抽取四张驾驶室图片，并对四张图片进行随机裁剪，然后再将裁剪区域进行随机拼接得到一张新的图片添加至图像样本数据中，以得到第一扩增图像数据，通过上述方式可使图像样本数据中图像的背景更加丰富，并且四张图片拼接可提高单次传递给程序用以训练的数据(样本)个数；然后，第一扩增图像数据再通过Mixuo算法进行二次扩增，其通过随机在第一扩增图像数据中随机抽取两张样本按一定比例进行混合，以得到一张新的图像样本，从而进一步对图像样本数据进行扩充，得到目标图像数据集；通过对图像样本数据集进行扩增，提高了样本数据对模型训练的鲁棒性和泛化能力，避免训练模型时出现过拟合的问题。

请参阅图3，本发明实施例中安全带佩戴检测方法的第三个实施例包括：

301、基于Mask R-CNN模型构建基础架构，所述基础架构包括骨干网络、RPN模块、RoI Align模块和预测头；

在本实施例中，RPN模块(即区域生成网络)是用于对feature map进行边框提取，产生所有可能存在的目标候选区域。RPN模块是在CNN上增加了回归层(reg-layer)和类别层(cls-layer)，实现在提取特征的同时预测出每个区域建议框的坐标以及得分；RoIAlign模块(即感兴趣对齐层)是用于将候选框对应的特征图找出，之后将不同大小比例特征图处理为固定大小，从而能输入到后续大小固定的网络中，该算法通过双线性插值的方法确定了原图像感兴趣区域每个像素的特征值，避免了量化操作带来的误差，从而提高了预测框和掩膜的精确度；在训练过程中首先训练预测头层：冻结所有的骨干网络层，只训练随机初始化的预测头层；然后再调整所有层：对所有层进行微调，形成统一的网络，完成最后训练。

302、将Swin Transformer模型输入基础架构中，以使Swin Transformer模型作为基础架构的骨干网络；所述Swin Transformer模型包括patch partition模块和四个由patch merging块和多个Swin transformer块组成的模块；

303、获得由Swin Transformer模型与Mask R-CNN模型构成的预分类识别模型；

在本实施例中，将Swin Transformer模型作为Mask R-CNN模型骨干网络对MaskR-CNN模型进行优化，Swin Transformer模型采用基于窗口的分层结构使其可解决处理高分辨率图像的尺度问题和高计算复杂度问题；此外，Swin Transformer模型引入了一个不重叠的窗口分区操作，大大降低了计算复杂度，并且Swin Transformer模型更容易组合多模态数据，从而在网络架构设计中提供更大的灵活性；从注意力机制出发的远程建模能力，释放了传统的基于CNN或基于RNN模型的局限性，极大的提高了Mask R-CNN模型的运算能力。

304、获取预设权重比例数据，并根据预设权重比例数据对目标图像数据集进行按比例分配，得到图像训练集、图像验证集和图像测试集；

305、将图像训练集和标注数据输入至预分类识别模型进行训练，得到多个具有不同结果的训练模型；

306、将图像验证集分别输入至多个训练模型进行校验，得到多个预测结果；

307、当预测结果满足预设条件，则将图像测试集输入至训练模型中，并对各个训练模型进行评分，将得分最高的训练模型作为安全带识别模型；

在本实施例中，将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行模型训练，以得到训练好的安全带识别模型，用于安全带的识别；通过图像训练集和标注数据对预分类识别模型进行训练，得到训练好的训练模型，然后再通过图像验证集中随机获取验证安全带数据，并将图像验证数据输入训练模型进行数据预测，得到预测结果；当预测结果满足预置优化条件时，则对训练模型进行测试评分，将图像测试集输入至训练模型中得到评分最高的训练模型，并将得分最高的训练模型作为安全带识别模型。

在本实施例中，图像训练集、图像验证集和图像测试集的占比为60％、30％和10％。

请参阅图4，本发明实施例中安全带佩戴检测方法的第三个实施例包括：

401、将实时图像数据输入至安全带识别模型，通过安全带识别模型识别实时图像数据中是否存在安全带特征；

402、若实时图像数据中存在安全带特征，则禁止发出预警信号；

403、若实时图像数据中不存在安全带特征，则获取车辆的车速数据；若车速数据大于0公里每小时，则发出预警信号，并将预警信号上传至监控终端进行备份；

404、若车速数据为0公里每小时，则禁止发出预警信号；

在本实施例中，通过对车辆行驶状态的二次判定提高安全带识别模型输出结果的准确性，避免出现错误预警动作；首先先通过安全带识别模型识别实时抓取的图像内是否存在驾驶员未佩戴安全带的情况，若识别到驾驶员已佩戴安全带则无论车辆处在什么状态下，均不会发生安全警报；若安全带识别模型识别到驾驶员未佩戴安全带，则需对车辆的行驶状态进行二次判定，判断驾驶员是否处在驾驶状态，此处，通过检测车速状态来判定车辆的状态，当车辆车速大于0公里每小时，则表示车辆处在行驶状态下，不管是减速状态或加速状态，均判定为行驶过程中未佩戴安全带的情况，所以需及时向驾驶员发送预警信号，提醒驾驶员佩戴安全带，但当车辆车速为0公里每小时，则可能存在驾驶员正停车休息的状态，所以则发出预警信号，仅在检测到车速大于0公里每小时的状态下才触发向驾驶员发送预警信号；通过上述设置，提高发送预警信号的精度，避免出现无法送的问题。

上面对本发明实施例中安全带佩戴检测方法进行了描述，下面对本发明实施例中安全带佩戴检测装置进行描述，请参阅图5，本发明实施例中安全带佩戴检测装置一个实施例包括：

获取模块501，获取模块，用于根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集；

标注模块502，用于对图像样本数据集进行标注处理，得到标注数据；

数据扩增模块503，用于对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集；

建模模块504，用于基于Mask R-CNN模型搭建预分类识别模型；

训练模块505，用于对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型；

预警模块506，用于获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号。

本实施例中，通过间隔获取驾驶室的原始图像数据并进行预处理，得到用于训练的图像样本数据集；对图像数据集中的安全带进行标注处理，以得到关于安全带的标注数据；对图像样本数据集进行扩增处理，使图像样本数据集内的图像数据得到扩增，提高样本数据的多样性，避免样本出现失衡的问题，以此得到相应的目标图像数据集；根据Mask R-CNN模型预搭建一个实例分割模型即预分类识别模型，并且根据目标图像数据集和标注数据对预分类识别模型进行训练，以得到可自动识别安全带的安全带识别模型；通过实时抓拍驾驶室内的场景图像，并将该实时图像输入至安全带识别模型进行分类预测，以快速获知驾驶员身上是否佩戴有安全带，当安全带识别模型并未识别到实时图像中存在安全带区域时，则向驾驶室或驾驶员发送预警信号，以提醒驾驶员佩戴安全带。

请参阅图6，本发明实施例中安全带佩戴检测装置的另一个实施例包括：

获取模块501，获取模块，用于根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集；

标注模块502，用于对图像样本数据集进行标注处理，得到标注数据；

数据扩增模块503，用于对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集；

建模模块504，用于基于Mask R-CNN模型搭建预分类识别模型；

训练模块505，用于对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型；

预警模块506，用于获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号；

在本实施例中，所述获取模块501包括：截取单元5011，用于根据车内的视频数据，并根据预设时间间隔截取视频数据的画面，以得到原始图像数据；第一分类单元5012，用于对原始图像数据进行筛选处理，若原始图像数据中存在人物特征则作为预筛选样本；第二分类单元5013，用于对预筛选样本进行分类处理，以得到第一分类样本和第二分类样本；所述第一分类样本为驾驶员佩戴有安全带的图像数据，所述第二分类样本为驾驶员未佩戴安全带的图像数据；第一生成单元5014，用于将第一分类样本和第二分类样本进行整合处理，以得到图像样本数据集。

在本实施例中，所述标注模块包括502：第一标注单元5021，用于通过Labelme工具对图像样本数据中的图像的驾驶位区域进行标注，以得到第一标注图集；第二标注单元5022，用于通过Labelme工具对第一标注图集中的图像的人物和安全带进行标注，以得到第二标注图集；第三分类单元5023，用于对第二标注图集进行筛选，以得到含有安全带特征的标注数据。

在本实施例中，所述数据扩增模块503包括：裁剪单元5031，用于将图像样本数据集输入至Mosaic算法进行一次扩增处理，以得到第一扩增图像数据；混合单元5032，用于将第一扩增图像数据输入至Mixup算法进行二次扩增处理，以得到第二扩增图像数据；第二生成单元5033，用于将第二扩增图像数据添加至图像样本数据集，以得到目标图像数据集。

在本实施例中，所述建模模块504包括：构建单元5041，用于基于Mask R-CNN模型构建基础架构；替换单元5042，用于将Swin Transformer模型输入基础架构中，以使SwinTransformer模型作为基础架构的骨干网络；获得由Swin Transformer模型与Mask R-CNN模型构成的预分类识别模型。

在本实施例中，所述训练模块505包括：分配单元5051，用于获取预设权重比例数据，并根据预设权重比例数据对目标图像数据集进行按比例分配，得到图像训练集、图像验证集和图像测试集；第一训练单元5052，用于将图像训练集和标注数据输入至预分类识别模型进行训练，得到多个具有不同结果的训练模型；第二训练单元5053，用于将图像验证集分别输入至多个训练模型进行校验，得到多个预测结果；评分单元5054，用于当预测结果满足预设条件，则将图像测试集输入至训练模型中，并对各个训练模型进行评分，将得分最高的训练模型作为安全带识别模型。

在本实施例中，所述预警模块506包括：输入单元5061，用于将实时图像数据输入至安全带识别模型，通过安全带识别模型识别实时图像数据中是否存在安全带特征；判定单元5062，用于若实时图像数据中存在安全带特征，则禁止发出预警信号；若实时图像数据中不存在安全带特征，则获取车辆的车速数据；若车速数据大于0公里每小时，则发出预警信号，并将预警信号上传至监控终端进行备份；若车速数据为0公里每小时，则禁止发出预警信号。

上面图5和图6从模块化功能实体的角度对本发明实施例中的安全带佩戴检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中安全带佩戴检测设备进行详细描述。

图7是本发明实施例提供的一种安全带佩戴检测设备的结构示意图，该安全带佩戴检测设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对安全带佩戴检测设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在安全带佩戴检测设备600上执行存储介质630中的一系列指令操作，以实现上述各方法实施例提供的安全带佩戴检测方法的步骤。

安全带佩戴检测设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的安全带佩戴检测设备结构并不构成对基于安全带佩戴检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行安全带佩戴检测方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种安全带佩戴检测方法，其特征在于，包括：

根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集；所述原始图像数据包括驾驶室的图像；

对图像样本数据集进行标注处理，得到标注数据；所述标注数据包括安全带特征；

对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集；

基于Mask R-CNN模型搭建预分类识别模型；

对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型；

获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号。

2.根据权利要求1所述的安全带佩戴检测方法，其特征在于，所述根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集，包括：

根据车内的视频数据，并根据预设时间间隔截取视频数据的画面，以得到原始图像数据；

对原始图像数据进行筛选处理，若原始图像数据中存在人物特征则作为预筛选样本；

对预筛选样本进行分类处理，以得到第一分类样本和第二分类样本；所述第一分类样本为驾驶员佩戴有安全带的图像数据，所述第二分类样本为驾驶员未佩戴安全带的图像数据；

将第一分类样本和第二分类样本进行整合处理，以得到图像样本数据集。

3.根据权利要求1所述的安全带佩戴检测方法，其特征在于，所述对图像样本数据集进行标注处理，得到标注数据；所述标注数据包括安全带特征，包括：

通过Labelme工具对图像样本数据中的图像的驾驶位区域进行标注，以得到第一标注图集；

通过Labelme工具对第一标注图集中的图像的人物和安全带进行标注，以得到第二标注图集；

对第二标注图集进行筛选，以得到含有安全带特征的标注数据。

4.根据权利要求1所述的安全带佩戴检测方法，其特征在于，所述对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集，包括：

将图像样本数据集输入至Mosaic算法进行一次扩增处理，以得到第一扩增图像数据；所述第一扩增图像数据为通过Mosaic算法提取图像样本数据集中任意四张图像进行随机裁剪，再将四张图像的裁剪区域进行拼接所得到的图像数据；

将第一扩增图像数据输入至Mixup算法进行二次扩增处理，以得到第二扩增图像数据；所述第二扩增图像数据为通过Mixup算法提取第一扩增图像数据中任意两张图像以预设比例进行混合所得到的图像数据；

将第二扩增图像数据添加至图像样本数据集，以得到目标图像数据集。

5.根据权利要求1所述的安全带佩戴检测方法，其特征在于，所述基于Mask R-CNN模型搭建预分类识别模型，包括：

基于Mask R-CNN模型构建基础架构，所述基础架构包括骨干网络、RPN模块、RoI Align模块和预测头；

将Swin Transformer模型输入基础架构中，以使Swin Transformer模型作为基础架构的骨干网络；所述Swin Transformer模型包括patch partition模块和四个由patchmerging块和多个Swin transformer块组成的模块；

获得由Swin Transformer模型与Mask R-CNN模型构成的预分类识别模型。

6.根据权利要求5所述的安全带佩戴检测方法，其特征在于，所述对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型，包括：

获取预设权重比例数据，并根据预设权重比例数据对目标图像数据集进行按比例分配，得到图像训练集、图像验证集和图像测试集；

将图像训练集和标注数据输入至预分类识别模型进行训练，得到多个具有不同结果的训练模型；

将图像验证集分别输入至多个训练模型进行校验，得到多个预测结果；

当预测结果满足预设条件，则将图像测试集输入至训练模型中，并对各个训练模型进行评分，将得分最高的训练模型作为安全带识别模型。

7.根据权利要求1所述的安全带佩戴检测方法，其特征在于，所述获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号，包括：

将实时图像数据输入至安全带识别模型，通过安全带识别模型识别实时图像数据中是否存在安全带特征；

若实时图像数据中存在安全带特征，则禁止发出预警信号；

若实时图像数据中不存在安全带特征，则获取车辆的车速数据；

若车速数据大于0公里每小时，则发出预警信号，并将预警信号上传至监控终端进行备份；

若车速数据为0公里每小时，则禁止发出预警信号。

8.一种安全带佩戴检测装置，其特征在于，包括：

获取模块，用于根据预设时间采集原始图像数据，并对图像数据进行预处理，得到图像样本数据集；

标注模块，用于对图像样本数据集进行标注处理，得到标注数据；

数据扩增模块，用于对图像样本数据集进行扩增处理，以得到扩增后的目标图像数据集；

建模模块，用于基于Mask R-CNN模型搭建预分类识别模型；

训练模块，用于对目标图像数据集进行分类处理，得到图像训练集、图像验证集和图像测试集，并将图像训练集、图像验证集、图像测试集和标注数据输入至预分类识别模型进行训练，以得到安全带识别模型；

预警模块，用于获取实时图像数据，并输入至安全带识别模型进行识别，若实时图像数据中不存在安全带特征，则发出预警信号。

9.一种安全带佩戴检测设备，其特征在于，所述安全带佩戴检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

至少一个所述处理器调用所述存储器中的所述指令，以使得所述安全带佩戴检测设备执行如权利要求1-7中任一项所述的安全带佩戴检测方法的各个步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述安全带佩戴检测方法的各个步骤。

Images