CN115063753B - 一种安全带佩戴检测模型训练方法及安全带佩戴检测方法 - Google Patents

Abstract

本申请是关于一种安全带佩戴检测模型训练方法及安全带佩戴检测方法，具体涉及计算机视觉技术领域。所述方法包括：获取样本集合中的第一样本检测图像通过安全带佩戴检测模型对第一样本检测图像进行目标检测处理，获得样本检测区域，并确定样本检测区域中的像素值所对应的第一样本向量；基于样本检测区域以及安全带区域，获取目标检测损失函数值；基于第一样本向量以及第二样本向量，计算对比损失函数值；基于目标检测损失函数值与对比损失函数值，对安全带佩戴检测模型的参数进行更新。上述方案使得安全带佩戴检测模型可以学习到最具有判别力的安全带图像部分，提高了通过安全带佩戴检测模型执行安全带佩戴检测的准确性。

Description

一种安全带佩戴检测模型训练方法及安全带佩戴检测方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种安全带佩戴检测模型训练方法及安全带佩戴检测方法。

背景技术

在安全驾驶检测中，通常可以通过摄像头对行驶中的车辆进行抓拍，并对抓拍得到的图像进行图像识别，从而确定司机是否配搭安全带。

对于司机是否佩戴安全带，现有的技术方案主要通过视觉直接检测安全带来判断是否佩戴安全带，由于安全带本身的变化很多，形态、颜色、安装位置、佩戴方式、大面积遮挡、摄像头安装角度变化、采光等因素影，现有的技术方案通常是通过大量的样本图像，对设计好的机器学习模型进行训练，使得训练后的模型可以识别出图像中的安全带区域，从而达到检测司机是否佩戴安全带的目的。

但在上述方案中，安全带在图像中占司机的像素比例很低，仅通过简单的目标检测，要学习到戴安全带的司机和不戴安全带的司机之间的区别的难度较大，安全带佩戴检测的准确性较低。

发明内容

本申请提供了一种安全带佩戴检测模型训练方法及安全带佩戴检测方法，提高了安全带佩戴检测的准确性，该技术方案如下。

一方面，提供了一种安全带佩戴检测模型训练方法，所述方法包括：

获取样本集合中的第一样本检测图像；所述第一样本检测图像中标注有安全带区域；

通过安全带佩戴检测模型对所述第一样本检测图像进行目标检测处理，获得样本检测区域，并确定所述样本检测区域中的像素值所对应的第一样本向量；

基于所述样本检测区域以及所述安全带区域，获取目标检测损失函数值；

基于所述第一样本向量以及第二样本向量，计算对比损失函数值；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；

基于所述目标检测损失函数值与所述对比损失函数值，对所述安全带佩戴检测模型的参数进行更新，以便更新后的所述安全带佩戴检测模型对目标图像的目标对象是否佩戴安全带进行检测。

又一方面，提供了一种安全带佩戴检测方法，所述方法包括：

获取目标图像；

通过安全带佩戴检测模型，对所述目标图像进行图像检测，确定目标对象是否佩戴安全带；

其中，所述安全带佩戴检测模型为基于目标检测损失函数值与对比损失函数值，对所述安全带佩戴检测模型的参数进行更新得到的；所述目标检测损失函数值为基于样本检测区域以及安全带区域获取到的；所述样本检测区域为通过安全带佩戴检测模型对样本集合中的第一样本检测图像进行目标检测处理获得的；所述第一样本检测图像中标注有安全带区域；

所述对比损失函数值为基于第一样本向量以及第二样本向量得到的；所述第一样本向量为通过所述样本检测区域中的像素值确定的；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的。

又一方面，提供了一种安全带佩戴检测模型训练装置，所述装置包括：

检测图像获取模块，用于获取样本集合中的第一样本检测图像；所述第一样本检测图像中标注有安全带区域；

样本检测模块，用于通过安全带佩戴检测模型对所述第一样本检测图像进行目标检测处理，获得样本检测区域，并确定所述样本检测区域中的像素值所对应的第一样本向量；

目标损失获取模块，用于基于所述样本检测区域以及所述安全带区域，获取目标检测损失函数值；

对比损失获取模块，用于基于所述第一样本向量以及第二样本向量，计算对比损失函数值；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；

参数更新模块，用于基于所述目标检测损失函数值与所述对比损失函数值，对所述安全带佩戴检测模型的参数进行更新，以便更新后的所述安全带佩戴检测模型对目标图像中的安全带区域进行检测。

在一种可能的实现方式中，所述样本集合中还包括第三样本检测图像；

所述第二损失获取模块，还用于，

基于所述第一样本向量与所述第二样本向量之间的点积，以及所述第一样本向量与第三样本向量之间的点积，通过对比学习损失函数，计算所述对比损失函数值；

所述第二样本向量为所述第一样本向量的正样本；所述第三样本向量为所述第一样本向量的负样本；所述第三样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的。

在一种可能的实现方式中，所述装置还包括：

候选样本向量获取模块，用于获取样本集合中的各个样本检测图像分别对应的各个候选样本向量；

点积计算模块，用于计算所述第一样本向量与各个所述候选样本向量之间的点积；

向量筛选模块，用于在各个所述候选样本向量中，将与所述第一样本向量的点积大于第一阈值的候选样本向量中筛选出第二样本向量；

所述向量筛选模块，还用于在各个所述候选样本向量中，将与所述第一样本向量的点积小于第二阈值的候选样本向量中筛选出第三样本向量。

在一种可能的实现方式中，所述样本检测模块，还用于，

对所述样本检测区域中的像素值进行平均池化，并将平均池化后得到的各个特征值拼接为所述第一样本向量。

在一种可能的实现方式中，所述样本检测模块，还用于，

在所述样本检测区域中筛选出中心检测区域；

对所述中心检测区域中的像素值进行平均池化，并将平均池化后得到的各个特征值拼接为所述第一样本向量。

又一方面，提供了一种安全带佩戴检测装置，所述装置包括：

目标图像获取模块，用于获取目标图像；

目标图像检测模块，用于通过安全带佩戴检测模型，对所述目标图像进行图像检测，确定目标对象是否佩戴安全带；

其中，所述安全带佩戴检测模型为基于目标检测损失函数值与对比损失函数值，对所述安全带佩戴检测模型的参数进行更新得到的；所述目标检测损失函数值为基于样本检测区域以及安全带区域获取到的；所述样本检测区域为通过安全带佩戴检测模型对样本集合中的第一样本检测图像进行目标检测处理获得的；所述第一样本检测图像中标注有安全带区域；

所述对比损失函数值为基于第一样本向量以及第二样本向量得到的；所述第一样本向量为通过所述样本检测区域中的像素值确定的；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的。

再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的安全带佩戴检测模型训练方法；或者所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的安全带佩戴检测方法。

又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的安全带佩戴检测模型训练方法；或者所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的安全带佩戴检测方法。

再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述安全带佩戴检测模型训练方法或安全带佩戴检测方法。

本申请提供的技术方案可以包括以下有益效果：

在对安全带佩戴检测模型进行训练时，可以先获取样本集合中的第一样本检测图像，并通过安全带佩戴检测模型对该第一样本检测图像进行目标检测，获得样本检测区域，以及样本检测区域中的像素值对应的第一样本向量；此时计算机设备可以根据样本检测区域以及安全带区域之间的误差，获取目标检测损失函数值，再根据第一样本向量与样本集合中的其他样本检测图像的第二样本向量之间的误差，获取到对比损失函数值，通过目标检测损失函数值与对比损失函数值更新出的安全带佩戴检测模型，在对齐同一张图片上的预测区域以及标注区域的同时，还跨图片的学习到的图片之间的共同特征，使得安全带佩戴检测模型可以学习到最具有判别力的安全带图像部分，提高了通过安全带佩戴检测模型执行安全带佩戴检测的准确性。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种模型训练系统的结构示意图。

图2是根据一示例性实施例示出的一种安全带佩戴检测模型训练方法的流程图。

图3是根据一示例性实施例示出的一种安全带佩戴检测方法的流程图。

图4是根据一示例性实施例示出的一种安全带佩戴检测方法的方法流程图。

图5示出了本申请实施例涉及的一种安全带佩戴检测模型训练逻辑图。

图6是根据一示例性实施例示出的一种安全带佩戴检测模型训练装置的结构方框图。

图7是根据一示例性实施例示出的一种安全带佩戴检测装置的结构方框图。

图8示出了本申请一示例性实施例示出的计算机设备的结构框图。

具体实施方式

下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。

在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。

本申请实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

在对本申请所示的各个实施例进行说明之前，首先对本申请涉及到的几个概念进行介绍。

1）AI（Artificial Intelligence，人工智能）

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

用来研究人工智能的主要物质基础以及能够实现人工智能技术平台的机器就是计算机。除了计算机科学以外，人工智能还涉及信息论、控制论、自动化、仿生学、生物学、心理学、数理逻辑、语言学、医学和哲学等多门学科。人工智能学科研究的主要内容包括：知识表示、自动推理和搜索方法、机器学习和知识获取、知识处理系统、自然语言理解、计算机视觉、智能机器人、自动程序设计等方面。

2）机器学习（Machine Learning，ML）

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

本申请实施例中提供的安全带佩戴检测模型训练方法可以应用于具有较强数据处理能力的计算机设备中。该安全带佩戴检测模型训练方法可以在对机器学习模型（也就是安全带佩戴检测模型）进行训练之后，通过训练好的安全带佩戴检测模型对目标图像进行目标检测，从而检测出目标图像中是否存在安全带以及目标图像中的安全带区域。在一种可能的实现方式中，本申请实施例提供的安全带佩戴检测模型训练模型可以应用于个人计算机、工作站或服务器中，即通过个人计算机、工作站以及服务器中至少一者进行安全带佩戴检测模型的训练或应用。

图1是根据一示例性实施例示出的一种模型训练系统的结构示意图。可选的，该模型训练系统中包含服务器110以及终端120。其中，终端120与服务器110之间通过通信网络进行数据通信，该通信网络可以是有线网络也可以是无线网络。

可选的，当该模型训练系统用于训练出可以在目标图像中识别出安全带的安全带佩戴检测模型。

可选的，终端120中安装有具有图像处理功能的应用程序，该应用程序可以调用训练好的安全带佩戴检测模型，以便对获取到的目标图像的目标对象是否佩戴安全带进行检测。

可选的，该应用程序可以是专业图像处理应用程序、交通检测类应用程序、或者具有图像处理功能的AI应用程序，本申请实施例对此不做限定。

可选的，该终端120可以是具有图像采集组件的终端设备，该图像采集组件用于获取图像并存储与终端120中的数据存储模块中；该终端120还可以是具有数据传输接口的终端设备，该数据传输接口用于接收具有图像采集组件的图像采集设备所采集到的图像数据。

可选的，该终端120可以是智能手机、平板电脑，膝上便携式笔记本电脑等移动终端，也可以是台式电脑、投影式电脑等终端，或是具有数据处理组件的智能终端，本申请实施例对此不设限制。

服务器110可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实现方式中，服务器110是终端120中应用程序的后台服务器。

在本申请实施例的一种可能的实现方式中，服务器110通过预先设置的样本集合（包括各个样本检测图像）对安全带佩戴检测模型进行训练，其中样本集合中可以包含各个样本检测图像，各个样本检测图像均存在各自的类别标注信息（即在样本检测图像中具有人工标注的检测框）。当服务器110对该样本检测图像模型的训练过程完成后，通过有线网络或无线网络，将该训练好的样本检测图像模型发送至终端120中。

终端120接收到该训练好的安全带佩戴检测模型，并将该安全带佩戴检测模型所对应的数据信息（例如权重信息）发送至具有识别分类功能的应用程序中，以便用户使用该应用程序时，可以对输入的图像进行安全带检测处理。

可选的，上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。

可选的，该系统还可以包括管理设备，该管理设备用于对该系统进行管理（如管理各个模块与服务器之间的连接状态等），该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

图2是根据一示例性实施例示出的一种安全带佩戴检测模型训练方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的服务器。如图2所示，该安全带佩戴检测模型训练方法可以包括如下步骤：

步骤201，获取样本集合中的第一样本检测图像。

可选的，该第一样本检测图像中标注有安全带区域。即在需要对安全带佩戴检测模型进行训练时，可以预先获取到样本集合，且该样本集合中包含各个样本检测图像，每个样本检测图像中都包含有标注数据，以指示该样本检测图像中是否存在安全带区域，以及该样本检测图像中安全带区域的具体位置。

可选的，在本申请实施例，该安全带区域可以是图像中的目标对象（司机或乘客）所在区域，也就是在第一样本检测图像中，可以直接将图像中的目标对象标注出来，并进一步标注该目标对象此时是否佩戴安全带。

步骤202，通过安全带佩戴检测模型对该第一样本检测图像进行目标检测处理，获得样本检测区域，并确定该样本检测区域中的像素值所对应的第一样本向量。

在获取到第一样本检测图像后，则可以通过安全带佩戴检测模型，对第一样本检测图像进行目标检测处理，预测其中的安全带区域（也就是样本检测区域）。

此时计算机设备再根据样本检测区域中的像素值，生成对应的第一样本向量，例如将该第一样本向量中的各个像素值拼接为第一样本向量，或者将第一样本向量中的各个像素值进行池化后再拼接为第一样本向量，从而使得第一样本向量可以表征该样本检测区域中的像素特征。

步骤203，基于该样本检测区域以及该安全带区域，获取目标检测损失函数值。

当获取到预测的安全带区域（也就是样本检测区域），以及样本检测图像上标注出的安全带区域后，计算机设备则可以通过目标检测算法的损失函数，计算样本检测区域以及样本检测图像上的安全带区域的重合度，并根据重合度计算出目标检测损失函数值，以表示安全带佩戴检测模型对样本检测图像进行安全带区域预测的误差。

步骤204，基于该第一样本向量以及第二样本向量，计算对比损失函数值。

该第二样本向量为通过安全带佩戴检测模型对该样本集合中的第二样本检测图像得到的。

在一种可能的实现方式中，该安全带佩戴检测模型对第二样本检测图像进行目标检测，获得第二样本检测图像对应的预测安全带区域，并将预测安全带区域中的像素生成第二样本向量，此时第二样本向量即代表着第二样本检测图像中的预测安全带区域的像素特征。

步骤205，基于该目标检测损失函数值与该对比损失函数值，对该安全带佩戴检测模型的参数进行更新，以便更新后的该安全带佩戴检测模型对目标图像中的安全带区域进行检测。

由于上述步骤中，目标检测损失函数值为同一张图片中的预测安全带区域与标注的安全带区域之间的误差，因此根据目标检测损失函数值对安全带佩戴检测模型进行更新后，安全带佩戴检测模型可以更容易预测到图片中的真实存在的安全带区域。

而对比损失函数值为基于不同图片中的预测安全带区域中的像素特征得到的，因此基于对比损失函数值对安全带佩戴检测模型，可以使得安全带佩戴检测模型可以跨图片的学习到图片之间的共同特征（也就是佩戴安全带部分的图像区域），从而使得安全带佩戴检测模型可以更聚焦于佩戴安全带部分的图像区域，从而提高了安全带佩戴检测模型的检测准确性。

综上所述，在对安全带佩戴检测模型进行训练时，可以先获取样本集合中的第一样本检测图像，并通过安全带佩戴检测模型对该第一样本检测图像进行目标检测，获得样本检测区域，以及样本检测区域中的像素值对应的第一样本向量；此时计算机设备可以根据样本检测区域以及安全带区域之间的误差，获取目标检测损失函数值，再根据第一样本向量与样本集合中的其他样本检测图像的第二样本向量之间的误差，获取到对比损失函数值，通过目标检测损失函数值与对比损失函数值更新出的安全带佩戴检测模型，在对齐同一张图片上的预测区域以及标注区域的同时，还跨图片的学习到的图片之间的共同特征，使得安全带佩戴检测模型可以学习到最具有判别力的安全带图像部分，提高了通过安全带佩戴检测模型执行安全带佩戴检测的准确性。

图3是根据一示例性实施例示出的一种安全带佩戴检测方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的终端。如图3所示，该安全带佩戴检测方法可以包括如下步骤：

步骤301，获取目标图像；

步骤302，通过安全带佩戴检测模型，对该目标图像进行图像检测，确定目标对象是否佩戴安全带。

其中，该安全带佩戴检测模型为基于目标检测损失函数值与对比损失函数值，对该安全带佩戴检测模型的参数进行更新得到的；该目标检测损失函数值为基于样本检测区域以及安全带区域获取到的；该样本检测区域为通过安全带佩戴检测模型对样本集合中的第一样本检测图像进行目标检测处理获得的；该第一样本检测图像中标注有安全带区域；

该对比损失函数值为基于第一样本向量以及第二样本向量得到的；该第一样本向量为通过该样本检测区域中的像素值确定的；该第二样本向量为通过安全带佩戴检测模型对该样本集合中的第二样本检测图像得到的。

其中，上述安全带佩戴检测模型的训练过程可以参考如图2所示的实施例中的步骤，此处不再赘述。

可选的，当服务器中完成了安全带佩戴检测模型的训练过程后，可以将训练好的安全带佩戴检测模型传输至终端中，以便终端通过训练好的安全带佩戴检测模型对输出的目标图像进行识别，从而识别出目标图像中司机是否佩戴好安全带。

综上所述，在对安全带佩戴检测模型进行训练时，可以先获取样本集合中的第一样本检测图像，并通过安全带佩戴检测模型对该第一样本检测图像进行目标检测，获得样本检测区域，以及样本检测区域中的像素值对应的第一样本向量；此时计算机设备可以根据样本检测区域以及安全带区域之间的误差，获取目标检测损失函数值，再根据第一样本向量与样本集合中的其他样本检测图像的第二样本向量之间的误差，获取到对比损失函数值，通过目标检测损失函数值与对比损失函数值更新出的安全带佩戴检测模型，在对齐同一张图片上的预测区域以及标注区域的同时，还跨图片的学习到的图片之间的共同特征，使得安全带佩戴检测模型可以学习到最具有判别力的安全带图像部分，提高了通过安全带佩戴检测模型执行安全带佩戴检测的准确性。

图4是根据一示例性实施例示出的一种安全带佩戴检测方法的方法流程图。该方法由如图1所示的服务器以及终端共同执行。如图3所示，该安全带佩戴检测方法可以包括如下步骤：

步骤401，获取样本集合中的第一样本检测图像。

该第一样本检测图像中标注有安全带区域。

步骤402，通过安全带佩戴检测模型对该第一样本检测图像进行目标检测处理，获得样本检测区域，并确定该样本检测区域中的像素值所对应的第一样本向量。

可选的，该安全带佩戴检测模型可以是目标检测网络FCOS结构的神经网络模型，以一阶段目标检测网络FCOS的FPN中P3为例，特征图为Fmap（H/s*W/s*D），其中H、W分别为输入图像的高度和宽度，D为特征的维度，s为降采样的倍数（P3时s=8）。

可选的，该安全带佩戴检测模型也可以为常见的解码器-编码器结构的神经网络模型，在该安全带佩戴检测模型中需要增加一个映射层，将主干网络的输出映射到D维的特征图Fmap。

在一种可能的实现方式中，对该样本检测区域中的像素值进行平均池化，并将平均池化后得到的各个特征值拼接为该第一样本向量。

在一种可能的实现方式中，在该样本检测区域中筛选出中心检测区域；对该中心检测区域中的像素值进行平均池化，并将平均池化后得到的各个特征值拼接为该第一样本向量。

即在本申请实施例，可以将特征图Fmap中，目标检测框内的点特征作为正样本特征集，此处也可采用center sampling（中心检测区域）作为正样本特征集，对框内的正样本特征进行平均池化，得到的特征向量F（即第一样本向量）。

步骤403，基于该样本检测区域以及该安全带区域，获取目标检测损失函数值。

步骤404，基于该第一样本向量以及第二样本向量，计算对比损失函数值；该第二样本向量为通过安全带佩戴检测模型对该样本集合中的第二样本检测图像得到的。

在一种可能的实现方式中，该样本集合中还包括第三样本检测图像；

计算机设备基于该第一样本向量与该第二样本向量之间的点积，以及该第一样本向量与第三样本向量之间的点积，通过对比学习损失函数，计算该对比损失函数值；

该第二样本向量为该第一样本向量的正样本；该第三样本向量为该第一样本向量的负样本；该第三样本向量为通过安全带佩戴检测模型对该样本集合中的第二样本检测图像得到的。

在本申请实施例中，该第二样本检测图像可以是该样本集合中，除第一样本检测图像之外的检测图像中的一个或多个，因此该第二样本向量可以是对一个第二样本检测图像得到的，也可以是对多个第二样本检测图像得到的。即第二样本向量可以是一个也可以是多个。

同理，在本申请实施例中，该第三样本向量可以是一个，也可以是多个。

即在本申请实施例中，除却目标检测网络的常规损失函数（也就是计算目标检测损失函数值所使用的常规损失函数，例如交叉熵损失函数），本申请实施例中还增加了基于对比学习的InfoNCE损失函数（即对比学习损失函数），计算第一样本向量与第二样本向量和第三样本向量的InfoNCE损失，该InfoNCE损失函数可以通过如下公式表示：

其中，为图片中的检测目标索引，为第二样本向量的索引列表，为第三样本向量的索引列表，为平滑参数。其中，检索目标索引可以是根据图片信息以及目标框位置进行编码得到的。

由于InfoNCE损失函数的意义是计算目标（也就是第一样本向量）与正样本特征以及负样本特征之间的相关性，因此上述第二样本向量可以定义为正样本特征向量，第三样本向量可以定义为负样本特征向量。

在一种可能的实现方式中，计算机设备获取样本集合中的各个样本检测图像分别对应的各个候选样本向量；

计算该第一样本向量与各个该候选样本向量之间的点积；

在各个该候选样本向量中，将与该第一样本向量的点积大于第一阈值的候选样本向量中筛选出第二样本向量；

在各个该候选样本向量中，将与该第一样本向量的点积小于第二阈值的候选样本向量中筛选出第三样本向量。

也就是说，计算机设备在训练过程中，可以计算出目标特征（也就是第一样本向量），与特征银行（包含各个样本检测图像的各个候选样本向量）中的各个候选样本向量进行点积，计算目标特征与各个候选样本向量的难易程度（即点积结果）。

计算机设备再将点积结果进行排序，二者越是接近-1表示困难的正样本，二者越是接近1表示困难的负样本。

例如计算机设备可以根据目标特征的难易程度（也就是点积），分别根据正负样本按顺序取前10%（此时第一阈值与第二阈值分别为10%处的正负样本的难易程度），作为备用特征；再在备用特征中的正样本部分随机选取K个作为候选正样本特征，在负样本部分随机选取2K个作为候选负样本特征Fn。

也就是说，在本申请实施例中，可以同时选取多个第二样本向量以及多个第三样本向量，通过InfoNCE损失函数计算对比损失函数值。

需要注意的是，在上述更新过程中，需要每次更新特征存储银行中每个key（即索引，也就是代指各个样本检测图像）对应的特征value（即特征向量、难易程度等）。

步骤405，基于该目标检测损失函数值与该对比损失函数值，对该安全带佩戴检测模型的参数进行更新。

可选的，对安全带佩戴检测模型的试验设置可以如下：

安全带佩戴检测模型网络结构采用FCOS-ResNet18，在FCOS结构中FPN只采用了P3/P4/P5，数据集采用佩戴安全带的数据集，共100k张训练图片、10k张验证图片、20k张测试图片，类别为两个类别，佩戴安全带的司机和未佩戴安全带的司机，图片输入分辨率为128x128，优化器采用SGD，初始学习率为0.01，batch-size（批次内参数数量）为64，训练24epoch（批次），其中候选正样本K为1024，设置为1，特征维度D为256。

在试验过程中，对照组模型采用普通的目标检测方法，实验组模型采用本申请实施例如步骤401至步骤405所示的方法，记录模型两个类别的precision（准去率）和recall（召回率）。

试验结果：对比分析两个模型的结果，实验组模型的两个类别的precision和recall都有提升，分别提升5和3个点；分析两个模型的特征向量，实验组模型的两个类别特征向量能够较为明显地分开；对新采集的数据进行测试，实验组模型的泛化能力得到明显的提升。

步骤406，获取目标图像。

步骤407，通过安全带佩戴检测模型，对该目标图像进行图像检测，确定目标对象是否佩戴安全带。

即服务器通过步骤401至步骤405所示的方案，训练好安全带佩戴检测模型后，服务器可以将该安全带佩戴检测模型所对应的参数发送至终端中，当终端获取到目标图像后，则可以通过安全带佩戴检测模型对该目标图像进行图像检测，以识别出目标图像中确定目标对象是否佩戴安全带。

请参考图5，其示出了本申请实施例涉及的一种安全带佩戴检测模型训练逻辑图。如图5所示，本申请实施例所示出的安全带佩戴检测模型，相对于目标检测模型，增加了对比学习的损失函数。

在本申请实施例所涉及的安全带佩戴检测模型的训练过程中，样本图像中的标注信息为目标图像中的目标检测框，以及目标检测框所对应的类别。且在本申请实施例中，该目标检测框通常都是将样本图像中的对象（也就是司机或乘客）框住，且目标检测框所对应的类别则指示样本图像中的对象是否佩戴安全带。

但由于目标检测框所框住的是样本图像中的人体，且目标检测框的类别也是指示是否佩戴安全带，一方面，样本图像在标注过程时所花费的人力较少，标注更为轻松；另一方面，样本图像的标注比较粗糙吗，可能导致算法模型训练时并不能很好的学习到安全带的信息。

因此本申请实施例增加了一个对比学习损失函数，与框回归损失函数以及其他损失函数（也就是目标检测损失函数）共同作用，从而增强算法模型的学习能力。

具体来说，输入特征图Fmap，先通过步骤402得到特征向量F，这里需要注意的是Fmap上是一个个点的，再通过标注出的区域进行池化操作，从而得到第一样本向量。

另外，本申请实施中还可以增加特征银行，优点在于可以跨图片进行对比学习，可以更好地学习特征。

特征银行理应存储所有目标的特征，对于每个类别相同的目标是正样本，就是第二特征向量（但是，正样本不只是有一个，是有K个），不相同的类别是负样本，就是第三特征向量（样本不只是有一个，是有2K个），建议改成向量组的称呼。

为了计算效率，本文并没有存储所有的特征在特征银行中，而是每一次，会根据计算某个类别的特征与正负样本的相似度，即样本的难易程度，进行排序，保留前10%，当然保留的样本少于K时，保留所有；

最终会选取特征银行中K个正样本和2K个负样本计算对比学习InfoNCE损失函数；这里当然有个细节，模型训练前期，没有K个的时候，就有多少用多少；试验中的超参数设定，K设定为1024，特征向量的维度D设定为256。

综上所述，在对安全带佩戴检测模型进行训练时，可以先获取样本集合中的第一样本检测图像，并通过安全带佩戴检测模型对该第一样本检测图像进行目标检测，获得样本检测区域，以及样本检测区域中的像素值对应的第一样本向量；此时计算机设备可以根据样本检测区域以及安全带区域之间的误差，获取目标检测损失函数值，再根据第一样本向量与样本集合中的其他样本检测图像的第二样本向量之间的误差，获取到对比损失函数值，通过目标检测损失函数值与对比损失函数值更新出的安全带佩戴检测模型，在对齐同一张图片上的预测区域以及标注区域的同时，还跨图片的学习到的图片之间的共同特征，使得安全带佩戴检测模型可以学习到最具有判别力的安全带图像部分，提高了通过安全带佩戴检测模型执行安全带佩戴检测的准确性。

图6是根据一示例性实施例示出的一种安全带佩戴检测模型训练装置的结构方框图。该安全带佩戴检测模型训练装置包括：

检测图像获取模块601，用于获取样本集合中的第一样本检测图像；所述第一样本检测图像中标注有安全带区域；

样本检测模块602，用于通过安全带佩戴检测模型对所述第一样本检测图像进行目标检测处理，获得样本检测区域，并确定所述样本检测区域中的像素值所对应的第一样本向量；

目标损失获取模块603，用于基于所述样本检测区域以及所述安全带区域，获取目标检测损失函数值；

对比损失获取模块604，用于基于所述第一样本向量以及第二样本向量，计算对比损失函数值；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；

参数更新模块605，用于基于所述目标检测损失函数值与所述对比损失函数值，对所述安全带佩戴检测模型的参数进行更新，以便更新后的所述安全带佩戴检测模型对目标图像中目标对象是否佩戴安全带进行检测。

在一种可能的实现方式中，所述样本集合中还包括第三样本检测图像；

所述第二损失获取模块，还用于，

基于所述第一样本向量与所述第二样本向量之间的点积，以及所述第一样本向量与第三样本向量之间的点积，通过对比学习损失函数，计算所述对比损失函数值；

所述第二样本向量为所述第一样本向量的正样本；所述第三样本向量为所述第一样本向量的负样本；所述第三样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的。

在一种可能的实现方式中，所述装置还包括：

候选样本向量获取模块，用于获取样本集合中的各个样本检测图像分别对应的各个候选样本向量；

点积计算模块，用于计算所述第一样本向量与各个所述候选样本向量之间的点积；

向量筛选模块，用于在各个所述候选样本向量中，将与所述第一样本向量的点积大于第一阈值的候选样本向量中筛选出第二样本向量；

所述向量筛选模块，还用于在各个所述候选样本向量中，将与所述第一样本向量的点积小于第二阈值的候选样本向量中筛选出第三样本向量。

在一种可能的实现方式中，所述样本检测模块，还用于，

对所述样本检测区域中的像素值进行平均池化，并将平均池化后得到的各个特征值拼接为所述第一样本向量。

在一种可能的实现方式中，所述样本检测模块，还用于，

在所述样本检测区域中筛选出中心检测区域；

对所述中心检测区域中的像素值进行平均池化，并将平均池化后得到的各个特征值拼接为所述第一样本向量。

综上所述，在对安全带佩戴检测模型进行训练时，可以先获取样本集合中的第一样本检测图像，并通过安全带佩戴检测模型对该第一样本检测图像进行目标检测，获得样本检测区域，以及样本检测区域中的像素值对应的第一样本向量；此时计算机设备可以根据样本检测区域以及安全带区域之间的误差，获取目标检测损失函数值，再根据第一样本向量与样本集合中的其他样本检测图像的第二样本向量之间的误差，获取到对比损失函数值，通过目标检测损失函数值与对比损失函数值更新出的安全带佩戴检测模型，在对齐同一张图片上的预测区域以及标注区域的同时，还跨图片的学习到的图片之间的共同特征，使得安全带佩戴检测模型可以学习到最具有判别力的安全带图像部分，提高了通过安全带佩戴检测模型执行安全带佩戴检测的准确性。

图7是根据一示例性实施例示出的一种安全带佩戴检测装置的结构方框图。该安全带佩戴检测装置包括：

目标图像获取模块701，用于获取目标图像；

目标图像检测模块702，用于通过安全带佩戴检测模型，对所述目标图像进行图像检测，确定目标对象是否佩戴安全带；

其中，所述安全带佩戴检测模型为基于目标检测损失函数值与对比损失函数值，对所述安全带佩戴检测模型的参数进行更新得到的；所述目标检测损失函数值为基于样本检测区域以及安全带区域获取到的；所述样本检测区域为通过安全带佩戴检测模型对样本集合中的第一样本检测图像进行目标检测处理获得的；所述第一样本检测图像中标注有安全带区域；

所述对比损失函数值为基于第一样本向量以及第二样本向量得到的；所述第一样本向量为通过所述样本检测区域中的像素值确定的；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的。

综上所述，在对安全带佩戴检测模型进行训练时，可以先获取样本集合中的第一样本检测图像，并通过安全带佩戴检测模型对该第一样本检测图像进行目标检测，获得样本检测区域，以及样本检测区域中的像素值对应的第一样本向量；此时计算机设备可以根据样本检测区域以及安全带区域之间的误差，获取目标检测损失函数值，再根据第一样本向量与样本集合中的其他样本检测图像的第二样本向量之间的误差，获取到对比损失函数值，通过目标检测损失函数值与对比损失函数值更新出的安全带佩戴检测模型，在对齐同一张图片上的预测区域以及标注区域的同时，还跨图片的学习到的图片之间的共同特征，使得安全带佩戴检测模型可以学习到最具有判别力的安全带图像部分，提高了通过安全带佩戴检测模型执行安全带佩戴检测的准确性。

图8示出了本申请一示例性实施例示出的计算机设备800的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备800包括中央处理单元（Central Processing Unit，CPU）801、包括随机存取存储器（Random Access Memory，RAM）802和只读存储器（Read-Only Memory，ROM）803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括用于存储操作系统809、应用程序810和其他程序模块811的大容量存储设备806。

所述大容量存储设备806通过连接到系统总线805的大容量存储控制器（未示出）连接到中央处理单元801。所述大容量存储设备806及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，所述大容量存储设备806可以包括诸如硬盘或者只读光盘（Compact Disc Read-Only Memory，CD-ROM）驱动器之类的计算机可读介质（未示出）。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器（Erasable Programmable Read Only Memory，EPROM）、电子抹除式可复写只读存储器（Electrically-Erasable ProgrammableRead-OnlyMemory，EEPROM）闪存或其他固态存储其技术，CD-ROM、数字多功能光盘（DigitalVersatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备806可以统称为存储器。

根据本公开的各种实施例，所述计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在所述系统总线805上的网络接口单元807连接到网络808，或者说，也可以使用网络接口单元807来连接到其他类型的网络或远程计算机系统（未示出）。

所述存储器还包括至少一条计算机程序，所述至少一条计算机程序存储于存储器中，中央处理单元801通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。

在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。

在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2至图4任一实施例所示方法的全部或部分步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种安全带佩戴检测模型训练方法，其特征在于，所述方法包括：

获取样本集合中的第一样本检测图像；所述第一样本检测图像中标注有安全带区域；所述安全带区域是图像中的目标对象所在区域；所述目标对象为乘客或司机；所述第一样本检测图像中的标注包括目标对象以及所述目标对象是否佩戴安全带；

通过安全带佩戴检测模型对所述第一样本检测图像进行目标检测处理，获得样本检测区域，并确定所述样本检测区域中的像素值所对应的第一样本向量；

基于所述样本检测区域以及所述安全带区域，获取目标检测损失函数值；

基于所述第一样本向量与第二样本向量之间的点积，以及所述第一样本向量与第三样本向量之间的点积，通过对比学习损失函数，计算对比损失函数值；所述第二样本向量为所述第一样本向量的正样本；所述第三样本向量为所述第一样本向量的负样本；所述第三样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；所述样本集合中还包括第三样本检测图像；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；

基于所述目标检测损失函数值与所述对比损失函数值，对所述安全带佩戴检测模型的参数进行更新，以便更新后的所述安全带佩戴检测模型对目标图像中目标对象是否佩戴安全带进行检测。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一样本向量与第二样本向量之间的点积，以及所述第一样本向量与第三样本向量之间的点积，通过对比学习损失函数，计算对比损失函数值之前，还包括：

获取样本集合中的各个样本检测图像分别对应的各个候选样本向量；

计算所述第一样本向量与各个所述候选样本向量之间的点积；

在各个所述候选样本向量中，将与所述第一样本向量的点积大于第一阈值的候选样本向量中筛选出第二样本向量；

在各个所述候选样本向量中，将与所述第一样本向量的点积小于第二阈值的候选样本向量中筛选出第三样本向量。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述样本检测区域中的像素值所对应的第一样本向量，包括：

对所述样本检测区域中的像素值进行平均池化，并将平均池化后得到的各个特征值拼接为所述第一样本向量。

4.根据权利要求1或2所述的方法，其特征在于，所述确定所述样本检测区域中的像素值所对应的第一样本向量，包括：

在所述样本检测区域中筛选出中心检测区域；

对所述中心检测区域中的像素值进行平均池化，并将平均池化后得到的各个特征值拼接为所述第一样本向量。

5.一种安全带佩戴检测方法，其特征在于，所述方法包括：

获取目标图像；

通过安全带佩戴检测模型，对所述目标图像进行图像检测，确定目标对象是否佩戴安全带；所述目标对象为乘客或司机；

其中，所述安全带佩戴检测模型为基于目标检测损失函数值与对比损失函数值，对所述安全带佩戴检测模型的参数进行更新得到的；所述目标检测损失函数值为基于样本检测区域以及安全带区域获取到的；所述样本检测区域为通过安全带佩戴检测模型对样本集合中的第一样本检测图像进行目标检测处理获得的；所述第一样本检测图像中标注有安全带区域；所述安全带区域是图像中的目标对象所在区域；所述第一样本检测图像中的标注包括目标对象以及所述目标对象是否佩戴安全带；

所述对比损失函数值为基于第一样本向量与第二样本向量之间的点积，以及所述第一样本向量与第三样本向量之间的点积，通过对比学习损失函数计算得到的；所述第一样本向量为通过所述样本检测区域中的像素值确定的；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；所述第二样本向量为所述第一样本向量的正样本；所述第三样本向量为所述第一样本向量的负样本；所述第三样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；所述样本集合中还包括第三样本检测图像。

6.一种安全带佩戴检测模型训练装置，其特征在于，所述装置包括：

检测图像获取模块，用于获取样本集合中的第一样本检测图像；所述第一样本检测图像中标注有安全带区域；所述安全带区域是图像中的目标对象所在区域；所述目标对象为乘客或司机；所述第一样本检测图像中的标注包括目标对象以及所述目标对象是否佩戴安全带；

样本检测模块，用于通过安全带佩戴检测模型对所述第一样本检测图像进行目标检测处理，获得样本检测区域，并确定所述样本检测区域中的像素值所对应的第一样本向量；

目标损失获取模块，用于基于所述样本检测区域以及所述安全带区域，获取目标检测损失函数值；

对比损失获取模块，基于所述第一样本向量与第二样本向量之间的点积，以及所述第一样本向量与第三样本向量之间的点积，通过对比学习损失函数，计算对比损失函数值；所述第二样本向量为所述第一样本向量的正样本；所述第三样本向量为所述第一样本向量的负样本；所述第三样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；所述样本集合中还包括第三样本检测图像；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；

参数更新模块，用于基于所述目标检测损失函数值与所述对比损失函数值，对所述安全带佩戴检测模型的参数进行更新，以便更新后的所述安全带佩戴检测模型对目标图像的目标对象是否佩戴安全带进行检测。

7.一种安全带佩戴检测装置，其特征在于，所述装置包括：

目标图像获取模块，用于获取目标图像；

目标图像检测模块，用于通过安全带佩戴检测模型，对所述目标图像进行图像检测，确定目标对象是否佩戴安全带；所述目标对象为乘客或司机；

其中，所述安全带佩戴检测模型为基于目标检测损失函数值与对比损失函数值，对所述安全带佩戴检测模型的参数进行更新得到的；所述目标检测损失函数值为基于样本检测区域以及安全带区域获取到的；所述样本检测区域为通过安全带佩戴检测模型对样本集合中的第一样本检测图像进行目标检测处理获得的；所述第一样本检测图像中标注有安全带区域；所述安全带区域是图像中的目标对象所在区域；所述第一样本检测图像中的标注包括目标对象以及所述目标对象是否佩戴安全带；

所述对比损失函数值为基于第一样本向量与第二样本向量之间的点积，以及所述第一样本向量与第三样本向量之间的点积，通过对比学习损失函数计算得到的；所述第一样本向量为通过所述样本检测区域中的像素值确定的；所述第二样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；所述第二样本向量为所述第一样本向量的正样本；所述第三样本向量为所述第一样本向量的负样本；所述第三样本向量为通过安全带佩戴检测模型对所述样本集合中的第二样本检测图像得到的；所述样本集合中还包括第三样本检测图像。

8.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至4任一所述的安全带佩戴检测模型训练方法；或者所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求5所述的安全带佩戴检测方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至4任一所述的安全带佩戴检测模型训练方法；或者所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求5所述的安全带佩戴检测方法。

Images