CN115187967B - 一种检测方法、训练方法、电子设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种检测方法、训练方法、电子设备及可读存储介质。其中，检测方法包括获取驾驶位置区域的目标图像；对目标图像进行特征提取，并根据提取到的特征，确定以目标图像中的驾驶员特征为基准来检测目标图像中的安全带使用状态时，目标图像中各个像素点的驾驶员权重，以及确定以目标图像中的安全带特征为基准来检测目标图像中的安全带使用状态时，目标图像中各个像素点的安全带权重；及融合驾驶员权重和安全带权重，得到各个像素点的融合权重，并按照各个像素点的融合权重，确定目标图像中的安全带使用状态。检测精度高。

Description

一种检测方法、训练方法、电子设备及可读存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种检测方法、训练方法、电子设备及可读存储介质。

背景技术

随着人工智能技术与计算机视觉技术的发展，DSM（Driver State Monitoring，驾驶员状态监测）系统已经越发常见。该系统用于检测驾驶员不利于驾驶的状态或者动作（比如疲劳、抽烟、打电话等），进而发出警告提醒驾驶员，以避免可能发生的潜在风险。

目前，检测驾驶员是否系安全带的功能，通常作为一个分支集成在DSM系统中。在一些技术中，在检测驾驶员是否系安全带时，通常是对图像中的驾驶员进行特征提取，来判断驾驶员是否系安全带。这种检测方式存在检测不准确的问题。

发明内容

有鉴于此，本发明实施方式提供了一种安全带使用状态的检测方法、模型训练方法、电子设备及计算机可读存储介质，可以提高检测的准确度。

本发明一方面提供了一种安全带使用状态的检测方法，所述方法包括：

获取驾驶位置区域的目标图像；

对所述目标图像进行特征提取，并根据提取到的特征，确定以所述目标图像中的驾驶员特征为基准来检测所述目标图像中的安全带使用状态时，所述目标图像中各个像素点的驾驶员权重，以及确定以所述目标图像中的安全带特征为基准来检测所述目标图像中的安全带使用状态时，所述目标图像中各个像素点的安全带权重；及

融合所述驾驶员权重和所述安全带权重，得到各个像素点的融合权重，并按照各个像素点的融合权重，确定所述目标图像中的安全带使用状态。

本发明另一方面还提供了一种模型训练方法，所述方法包括：

获取驾驶位置区域的样本图像；

根据所述样本图像中的安全带使用状态，确定以所述样本图像中的驾驶员特征为基准来检测所述安全带使用状态时，所述样本图像中各个像素点的驾驶员样本权重，以及确定以所述样本图像中的安全带特征为基准来检测所述安全带使用状态时，所述样本图像中各个像素点的安全带样本权重；及

将所述样本图像输入待训练的特征提取模型，并基于所述驾驶员样本权重和所述安全带样本权重，对所述特征提取模型进行训练。

本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。

本发明另一方面还提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如上所述的方法。

在本申请的一些实施例中，以驾驶员特征为基准，确定目标图像中的各个像素点在安全带使用状态检测中的驾驶员权重，以及以安全带特征为基准，确定目标图像中的各个像素点在安全带使用状态检测中的安全带权重，并融合驾驶员权重和安全带权重，来确定目标图像中的安全带使用状态。通过融合驾驶员权重和安全带权重，可以在安全带使用状态检测中，使目标图像各个像素点的权重更加准确，进而可以提高检测精度。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本申请的一个实施例提供的模型训练方法的流程示意图；

图2示出了本申请的一个实施例提供的一个样本图像的示意图；

图3示出了对图2中的样本图像进行驾驶员样本权重划分后的示意图；

图4示出了本申请的另一个实施例提供的一个样本图像的示意图；

图5示出了本申请的一个实施例提供的一个样本图像的第一驾驶员检测权重的分布示意图；

图6示出了图5中的样本图像的第二驾驶员检测权重的分布示意图；

图7示出了本申请的一个实施例提供的特征提取模型的检测流程示意图；

图8示出了本申请的一个实施例提供的安全带使用状态的检测方法的流程示意图；

图9示出了本申请的一个实施例提供的电子设备的示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

在一些实施例中，本申请提供的安全带使用状态的检测方法，依赖于已训练好的特征提取模型。因此，在介绍安全带使用状态的检测方法之前，先对特征提取模型的训练进行说明。

请参阅图1，为本申请的一个实施例提供的模型训练方法的流程示意图。模型训练方法可应用于电子设备。电子设备具备模型训练时所需的资源（比如CPU资源、存储资源等）。电子设备可以包括车载控制设备、电脑等。模型训练方法包括步骤S11至步骤S13。

步骤S11，获取驾驶位置区域的样本图像。

在一些实施例中，可以在驾驶位置区域的周围安装视觉设备（比如摄像机），对驾驶位置区域的图像进行采集，得到样本图像。具体来说，视觉设备可以安装在驾驶位置区域的斜上方、前方等位置。在驾驶员位于驾驶位置区域时，视觉设备采集到的图像中，可以包括驾驶员系安全带的位置（比如驾驶员的胸前位置），以及安全带当前所在的位置。

在一些实施例中，在获取到样本图像后，可以根据样本图像中的安全带使用状态，对样本图像进行标注。其中，安全带使用状态表征样本图像中的驾驶员对安全带的使用情况，具体可以包括驾驶员系好安全带的状态和驾驶员未系好安全带的状态。

在一些实施例中，对于驾驶员系好安全带的样本图像，可以在样本图像中标注出驾驶员和安全带的检测框。同时，为驾驶员的检测框设置表示驾驶员系好安全带的标签分类（比如driver_with_belt），以及为安全带的检测框设置另一个标签分类（比如belt）。

在一些实施例中，对于驾驶员未系安全带的样本图像，可以仅在样本图像中标注出驾驶员的检测框。同时，为驾驶员的检测框设置表示驾驶员未系好安全带的标签分类（比如driver_no_belt）。

步骤S12，根据样本图像中的安全带使用状态，确定以样本图像中的驾驶员特征为基准来检测安全带使用状态时，样本图像中各个像素点的驾驶员样本权重，以及确定以样本图像中的安全带特征为基准来检测安全带使用状态时，样本图像中各个像素点的安全带样本权重。

以下先对驾驶员样本权重进行说明。

在一些实施例中，样本图像中各个像素点的驾驶员样本权重，表征根据样本图像中的驾驶员特征来判断样本图像中的安全带使用状态时，各个像素点处的特征对于安全带使用状态检测的重要程度。对于任一像素点，该像素点的驾驶员样本权重越高，表示该像素点处的特征对于安全带使用状态检测的价值越高。针对驾驶员系安全带的样本图像和驾驶员未系安全带的样本图像，均可按照下述操作，确定样本图像中各个像素点的驾驶员样本权重。

在一些实施例中，确定以样本图像中的驾驶员特征为基准来检测安全带使用状态时，样本图像中各个像素点的驾驶员样本权重，可以包括：

以驾驶员的驾驶员关注位置为基准，确定样本图像中各个像素点的驾驶员样本权重，其中，驾驶员关注位置为驾驶员理论上系安全带的位置。在本实施例中，驾驶员关注位置为驾驶员的胸前位置。进一步的，驾驶员胸前位置为驾驶员检测框的中心位置。在驾驶员系好安全带和未系好安全带时，驾驶员的胸前位置特征会发生变化。驾驶员胸前位置的特征对于样本图像中的安全带状态检测具有较高的价值。因此，驾驶员胸前位置所在的像素点，可以具有较高的驾驶员样本权重。而对于距离驾驶员胸前位置较远的像素点，这些像素点的特征不能有效区分驾驶员是否系安全带，在安全带状态检测过程中的价值偏低。因此，这些像素点可以具有较低的驾驶员样本权重。

基于以上描述，在一些实施例中，以驾驶员的驾驶员关注位置为基准，确定样本图像中各个像素点的驾驶员样本权重，可以包括：

针对驾驶员关注位置处的像素点，可以将像素点的驾驶员样本权重设置为第一预设值，针对驾驶员关注位置外的像素点，可以将像素点的驾驶员样本权重设置为小于第一预设值的值。其中，第一预设值可以为1。即针对驾驶员关注位置处的像素点，可以将像素点的驾驶员样本权重设置为1。同时，针对驾驶员关注位置外的像素点，可以将像素点的驾驶员样本权重设置为小于1的值，比如0.5。这样，驾驶员关注位置处的像素点，可以具有较高的权重，这些位置处的特征对安全带使用状态检测可以具有较高的价值。提高检测准确性。

进一步的，在一些实施例中，针对驾驶员关注位置外的像素点，将像素点的驾驶员样本权重设置为小于第一预设值的值，可以包括：

针对驾驶员关注位置外的像素点，可以按照像素点与驾驶员关注位置之间的距离远近，将像素点的驾驶员样本权重设置为小于第一预设值的值，其中，距离驾驶员关注位置越远的像素点，对应的驾驶员样本权重越小。

具体请参阅图2，为本申请的一个实施例提供的一个样本图像的示意图。图2中，每一个小的矩形框可以代表样本图像中的一个像素点。假设黑色圆圈所在位置为驾驶员的胸前中间位置，则可以将驾驶员的胸前中间位置作为中心，往外以不同半径确定多个圆。其中，同一个圆的圆弧所在的像素点，可以具有相同的驾驶员样本权重。不同圆弧所在的像素点，可以按照距离胸前中间位置的距离远近，具有不同的驾驶员样本权重。

具体请参阅图3，为对图2中的样本图像进行驾驶员样本权重划分后的示意图。从图2中可以看出，在距离胸前中间位置越近的像素点，具有较高的驾驶员样本权重，距离胸前中间位置越远的像素点，驾驶员样本权重逐渐减少。其中，对位于驾驶员所在区域以外的像素点，这些像素点的驾驶员样本权重可以统一设置为0，表示在基于驾驶员特征对样本图像中的安全带使用状态进行检测时，这些像素点的特征对于安全带使用状态的检测没有价值。

以下对安全带样本权重进行说明。

在一些实施例中，样本图像中各个像素点的安全带样本权重，表征根据样本图像中的安全带特征来判断样本图像中的安全带使用状态时，各个像素点处的特征对于安全带使用状态检测的重要程度。对于任一像素点，该像素点的安全带样本权重越高，表示该像素点处的特征对于安全带使用状态检测的价值越高。

在一些实施例中，确定以样本图像中的安全带特征为基准来检测安全带使用状态时，样本图像中各个像素点的安全带样本权重，可以包括：

若样本图像中的安全带使用状态为驾驶员系好安全带时，以安全带的安全带关注位置为基准，确定样本图像中各像素点的安全带样本权重，其中，安全带关注位置为安全带在样本图像中实际上所在的位置，即驾驶员实际系安全带的位置。

具体地，可以将安全带检测框中心位置作为安全带的安全带关注位置。安全带在样本图像中实际上所在的位置（即驾驶员实际系安全带的位置），可以与驾驶员理论上系安全带的位置重合，也可以与驾驶员理论上系安全带的位置错开。

具体请参阅图4，为本申请的另一个实施例提供的一个样本图像的示意图。图4中，假设正常情况下，驾驶员系安全带的位置理论应该在黑色圆圈处（比如驾驶员的胸前中间位置），但由于各种原因，驾驶员实际系安全带的位置可能在灰色圆圈处，即安全带在样本图像中实际上所在的位置为灰色圆圈处，安全带在样本图像中实际上所在的位置，与驾驶员理论上系安全带的位置错开。此时，若再重点以黑色圆圈处的特征来判断驾驶员是否系安全带，则可能会出现误判的情况。因此，在本申请中，以安全带在样本图像中实际上所在的位置（即驾驶员实际系安全带的位置）为基准，为样本图像中各个像素点设置第二样本权重。使得可以结合驾驶员理论系安全带位置的特征，以及驾驶员实际系安全带位置的特征，来对安全带使用状态进行判断，从而提高检测准确度。具体可参见后续相关描述，此处不赘述。

在一些实施例中，类似于上述确定驾驶员样本权重的方法，以安全带的安全带关注位置为基准，确定样本图像中各像素点的安全带样本权重，可以包括：

针对在安全带关注位置处的像素点，将像素点的安全带样本权重设置为第二预设值，针对安全带关注位置外的像素点，将像素点的安全带样本权重设置为小于第二预设值的值。其中，第二预设值可以为1。

进一步的，针对安全带关注位置外的像素点，将像素点的安全带样本权重设置为小于第二预设值的值，可以包括：

针对安全带关注位置外的像素点，可以按照像素点与安全带关注位置之间的距离远近，将样本图像中其他像素点的安全带样本权重设置为小于第二预设值的值。其中，距离安全带关注位置越远的像素点，对应的安全带样本权重越小。

在一些实施例中，若样本图像中的安全带使用状态为驾驶员未系好安全带时，可以将样本图像中各个像素点的安全带样本权重设置为1。此处，由于驾驶员未系安全带，驾驶员不存在实际系安全带的位置，针对以安全带特征为基准来检测安全带使用状态的场景来说，样本图像没有需要特别关注的位置，故可以将样本图像中所有像素点的安全带样本权重设置同一个值，表示这些像素点的权重均相同，即没有需要特别关注的位置。

在一些实施例中，经过上述步骤S12的处理后，样本图像中的每个像素点可以具有两个权重值，即驾驶员样本权重值和安全带样本权重值。到此，可以执行步骤S13。

步骤S13，将样本图像输入待训练的特征提取模型，并基于驾驶员样本权重和安全带样本权重，对特征提取模型进行训练。

在一些实施例中，在对特征提取模型进行训练时，可以通过特征提取模型确定以驾驶员特征为基准，对样本图像中的安全带使用状态进行检测时，样本图像中各个像素点的驾驶员检测权重，以及通过特征提取模型确定以安全带特征为基准，对样本图像中的安全带使用状态进行检测时，样本图像中各个像素点的安全带检测权重。对特征提取模型进行训练的过程，可以是基于特征提取模型输出的驾驶员检测权重和安全带检测权重，调整特征提取模型的参数，使同一像素点的驾驶员检测权重和驾驶员样本权重的差别在第一差别范围内，以及使同一像素点的安全带检测权重和安全带样本权重的差别在第二差别范围内。第一差别范围和第二差别范围可以根据模型训练的精度要求进行设置。

比如，针对样本图像中的像素点A来说，假设通过步骤S12的处理，可以确定像素点A的驾驶员样本权重为0.5，安全带样本权重为0.4。而将样本图像输入特征提取模型后，特征提取模型输出的像素点A的驾驶员检测权重为0.3，安全带检测权重为0.2，则可以通过调整特征提取模型的参数，使特征提取模型输出的像素点A的驾驶员检测权重为趋近0.5，安全带检测权重为趋近0.4。如此，模型经过学习后，可以对输入的图像进行识别，确定图像中每个像素点的驾驶员检测权重和安全带检测权重。

在一些实施例中，驾驶员检测权重包括特征提取模型将样本图像中的安全带使用状态确定为驾驶员系好安全带时，各个像素点的第一驾驶员检测权重，以及特征提取模型将样本图像中的安全带使用状态确定为驾驶员未系好安全带时，各个像素点的第二驾驶员检测权重。特征提取模型在输出驾驶员检测权重时，可以分两个矩阵输出驾驶员检测权重，其中一个矩阵为样本图像中各像素点的第一驾驶员检测权重，另一个矩阵为样本图像中各像素点的第二驾驶员检测权重。可以理解的是，对于一个样本图像来说，安全带使用状态是唯一的，即驾驶员系好安全带或驾驶员未系好安全带，那么特征提取模型输出的两个矩阵中，其中一个矩阵中各像素点的权重会偏低，表示在相应的安全带使用状态下，样本图像中不存在需要重点关注的像素点。

为便于理解，结合参阅图5和图6。图5为本申请的一个实施例提供的一个样本图像的第一驾驶员检测权重的分布示意图。图6为图5中的样本图像的第二驾驶员检测权重的分布示意图。在图5和图6中，假设样本图像中的驾驶员是处于系好安全带的状态。从图5可以看出，存在权重较高的像素点。从图6可以看出，所有像素点的权重均偏低。

基于以上描述，在对特征提取模型进行训练的过程中，若样本图像中的安全带使用状态为驾驶员系好安全带，可以使同一像素点的驾驶员样本权重和第一驾驶员检测权重的差别在第一差别范围内；若样本图像中的安全使用状态为驾驶员未系好安全带，可以使同一像素点的驾驶员样本权重和第二驾驶员检测权重的差别在第一差别范围内。

基于以上描述，请参阅图7，为本申请的一个实施例提供的特征提取模型的检测流程示意图。从图7可以看出，一个特征提取模型至少可以输出两个分支检测结果，其中一个分支检测结果是以驾驶员特征为基准对图像中安全带使用状态进行检测时，在驾驶员系好安全带和未系好安全带两种状态下，图像中各个像素点的权重；另一个分支检测结果是以安全带特征为基准对图像中安全带使用状态进行检测时，图像中各个像素点的权重。

基于训练好的特征提取模型，本申请提出一种安全带使用状态的检测方法。请参阅图8，为本申请的一个实施例提供的安全带使用状态的检测方法的流程示意图。安全带使用状态的检测方法可应用于电子设备。其中，电子设备可以包括车载设备、电脑等。检测方法可以包括步骤S81至步骤S83。

步骤S81，获取驾驶位置区域的目标图像。其中，目标图像的获取与上述样本图像的获取类似，此处不赘述。

步骤S82，对目标图像进行特征提取，并根据提取到的特征，确定以目标图像中的驾驶员特征为基准来检测目标图像中的安全带使用状态时，目标图像中各个像素点的驾驶员权重，以及确定以目标图像中的安全带特征为基准来检测目标图像中的安全带使用状态时，目标图像中各个像素点的安全带权重。

在一些实施例中，驾驶员权重和上述驾驶员检测权重类似，安全带权重和上述安全带检测权重类似。主要区别在于，驾驶员权重和安全带权重为特征提取模型完成训练后，对目标图像进行检测后输出的结果。驾驶员检测权重和安全带检测权重为特征提取模型训练过程中，对样本图像进行检测后输出的结果。

可以理解的是，根据目标图像中各个像素点的驾驶员权重，可以确定在以驾驶员特征为基准对目标图像中的安全带使用状态进行检测时，图像中需重点关注的像素点。这些像素点可以是目标图像中驾驶员权重取值较大的像素点。这些像素点所在的位置，可以是驾驶员理论上系安全带位置处的像素点（比如驾驶员检测框中心的像素点）。如此基于特征提取模型输出的各个像素点的驾驶员权重，可以反推驾驶员理论上系安全带的位置。

类似的，根据目标图像中各个像素点的安全带权重，可以确定在以安全带特征为基准对目标图像中的安全带使用状态进行检测时，图像中需重点关注的像素点。这些像素点可以是目标图像中安全带权重取值较大的像素点。这些像素点所在的位置，可以是安全带在目标图像中实际上所在的位置（比如安全带检测框中心的像素点）。如此，基于特征提取模型输出的各个像素点的安全带权重，可以反推安全带在目标图像中实际上所在的位置。

步骤S83，融合驾驶员权重和安全带权重，得到各个像素点的融合权重，并按照各个像素点的融合权重，确定目标图像中的安全带使用状态。

在一些实施例中，融合驾驶员权重和安全带权重，对目标图像中的安全带使用状态进行检测，可以提高检测精度。比如，若单独根据驾驶员的特征来检测安全带使用状态，特征提取模型可能会重点关注驾驶员理论上系安全带的位置特征。但实际上，安全带可能并未位于该位置，或者该位置被手臂、衣物遮挡，导致特征提取模型无法学习到判断安全带使用状态的关键特征。鉴于此，本申请的检测方法中，由特征提取模型分别输出目标图像中各个像素点的驾驶员权重和安全带权重，可以对检测结果进行纠正。

比如，假设以驾驶员特征为基准对安全带使用状态进行检测时，确定目标图像中的像素点A具有较高的权重。但这个权重，存在误判的可能。此时，可以结合像素点A的安全带权重进行判断。若像素点A的安全带权重较小，表示以安全带为基准对安全带使用状态进行检测时，像素点A的权重较小。结合像素点A的驾驶员权重和安全带权重，就可以降低像素点A的权重，从而提高检测精度，降低误判的可能。

在一些实施例中，融合驾驶员权重和安全带权重时，可以按照像素点的对应关系，将驾驶员权重和安全带权重相乘，确定目标图像中各个像素点对应的融合权重，然后基于融合权重，确定目标图像中的安全带使用状态。

比如，将像素点A的驾驶员权重乘以安全带权重，可以得到像素点A的融合权重。相乘得到的权重，是结合驾驶员特征和安全带特征后，得到的每个像素点的较为准确的权重。此处，需要说明的是，若目标图像中每个像素点的安全带权重均为1时（具体参见上述模型训练部分的描述），驾驶员权重和安全带权重相乘后的结果仍为驾驶员权重，表示基于安全带对安全带使用状态进行检测时，目标图像中不存在需要关注的像素点。这种情况下，以基于驾驶员对安全带使用状态进行检测的结果为准。

在一些实施例中，驾驶员权重包括将目标图像中的安全带使用状态确定为驾驶员系好安全带时，各个像素点的第一驾驶员权重，以及将目标图像中的安全带使用状态确定为驾驶员未系好安全带时，各个像素点的第二驾驶员权重。其中，第一驾驶员权重与上述第一驾驶员检测权重类似，第二驾驶员权重与上述第二驾驶员检测权重类似。此处不赘述。融合驾驶员权重和安全带权重，可以包括：

融合第一驾驶员权重和安全带权重，得到各像素点的第一融合权重，以及融合第二驾驶员权重和安全带权重，得到各像素点的第二融合权重；

基于第一融合权重和第二融合权重，确定融合权重。

具体地，针对任一像素点，可以该像素点的第一驾驶员权重和安全带权重相乘，得到该像素点的第一融合权重，以及将该像素点的第二驾驶员权重和安全带权重相乘，得到该像素点的第二融合权重。

为便于理解，以图7为例。图7中，对图像进行特征提取后，可以得到图像中各个像素点的第一驾驶员权重的分布A，第二驾驶员权重的分布B以及安全带权重的分布C。在确定图像中各个像素点的融合权重时，就是按照像素对应关系，将A和B中各个像素点的权重分别与C中相应像素点的权重相乘，得到各个像素点的融合权重。比如，将A中左上角第一个像素点的权重与C中左上角第一个像素点的权重相乘，得到图像左上角类别一像素点的第一融合权重；将B中左上角第一个像素点的权重与C中左上角第一个像素点的权重相乘，得到图像左上角类别一像素点的第二融合权重，然后基于图像左上角第一个像素点的第一融合权重和第二融合权重，确定图像左上角第一个像素点的融合权重。

在一些实施例中，基于第一融合权重和第二融合权重，确定融合权重，可以包括：

对于任一像素点，可以在该像素点对应的第一融合权重和第二融合权重中，选择取值大的融合权重作为该像素点的融合权重。依然以图7为例，假设A中左上角第一个像素点的权重与C中左上角第一个像素点的权重相乘后，得到的第一融合权重为0.52；B中左上角第一个像素点的权重与C中左上角第一个像素点的权重相乘，得到的第二融合权重为0.3。根据计算结果，可以将0.52（即较大的融合权重）作为图像左上角第一个像素点的融合权重。

在一些实施例中，按照各个像素点的融合权重，确定目标图像中的安全带使用状态，可以包括：

对于任一像素点，若该像素点的融合权重为第一融合权重，确定该像素点的安全带使用状态为驾驶员系好安全带；若该像素点的融合权重为第二融合权重，确定该像素点的安全带使用状态为驾驶员未系好安全。依然以图7中的图像左上角第一个像素点为例进行说明。基于上述举例可知，在图像左上角第一个像素点，是将该像素点的第一融合权重作为融合权重的，则可以将该像素点的安全带使用状态确定为驾驶员系好安全带。

进一步的，基于目标图像中各像素点的安全带使用状态，确定目标图像中的安全带使用状态，包括：

在目标图像的像素点中，选择多个目标像素点；

在多个目标像素点中，统计安全带使用状态为驾驶员系好安全带的第一像素点个数，以及统计安全带使用状态为驾驶员未系好安全带的第二像素点个数；

若第一像素点个数大于第二像素点个数，确定目标图像中的安全带使用状态为驾驶员系好安全带；若第一像素点个数小于或等于第二像素点个数，确定目标图像中的安全带使用状态为驾驶员未系好安全带。

其中，目标像素点的个数可以选择为奇数。这样，在进行第一像素点个数和第二像素点个数的大小判断时，可以保证存在一个数较大，另一个数较小，便于比较出大小。比如，目标像素点的个数为7个，必然是第一像素点个数与第二像素个数不相等的。但若目标像素点的个数为8个，则可能存在第一像素点个数与第二像素个数均为4的情况，这样，就会出现无法判断安全带使用状态的情况。

进一步的，目标像素点可以是基于如下方法确定的：

在目标图像的像素点中，选择融合权重的取值大于权重阈值的像素点；

在选择出的像素点中，按照融合权重取值从大到小的顺序，选择多个像素点，作为目标像素点。

此处，选择融合权重的取值大于权重阈值的像素点，是排除权重较小、特征参考意义不大的像素点。在本实施例中，权重阈值为0.05。在选出的像素点中，可以将像素点的融合权重从大到小排序，选择取值靠前的多个目标像素点，即选择取值较大的多个目标像素点。这样，选择出的目标像素点具有较高的融合权重，这些像素点处的特征对于安全带使用状态检测具有较高的参考价值，可以保证检测的准确性。

如此，基于以上描述，可以确定目标图像中的安全带使用状态。另外，基于目标图像中各个像素点的驾驶员权重和安全带权重，还可以反推目标图像中驾驶员和安全带所在的位置。即驾驶员权重取值较大的像素点所在位置，即为目标图像中驾驶员检测框中心所在位置；安全带权重取值较大的像素点所在位置，即为目标图像中安全带检测框中心所在位置。

在本申请的一些实施例中，以驾驶员特征为基准，确定目标图像中的各个像素点在安全带使用状态检测中的驾驶员权重，以及以安全带特征为基准，确定目标图像中的各个像素点在安全带使用状态检测中的安全带权重，并融合驾驶员权重和安全带权重，来确定目标图像中的安全带使用状态。通过融合驾驶员权重和安全带权重，可以在安全带使用状态检测中，使目标图像各个像素点的权重更加准确，进而可以提高检测精度。同时，在安全带使用状态检测时，用目标检测代替实例分割，可以有效降低样本图像的标注成本。

请参阅图9，为本申请的一个实施例提供的电子设备的示意图。电子设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的方法。

其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的方法。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (17)

1.一种安全带使用状态的检测方法，其特征在于，所述方法包括：

获取驾驶位置区域的目标图像；

通过特征提取模型对所述目标图像进行特征提取，并根据提取到的特征，确定以所述目标图像中的驾驶员特征为基准来检测所述目标图像中的安全带使用状态时，所述目标图像中各个像素点的驾驶员权重，以及确定以所述目标图像中的安全带特征为基准来检测所述目标图像中的安全带使用状态时，所述目标图像中各个像素点的安全带权重，其中，所述特征提取模型基于如下方法训练得到：

获取驾驶位置区域的样本图像；

根据所述样本图像中的安全带使用状态，确定以所述样本图像中的驾驶员特征为基准来检测所述安全带使用状态时，所述样本图像中各个像素点的驾驶员样本权重，以及确定以所述样本图像中的安全带特征为基准来检测所述安全带使用状态时，所述样本图像中各个像素点的安全带样本权重；及

将所述样本图像输入待训练的特征提取模型，对所述特征提取模型进行训练，使所述特征提取模型输出所述样本图像中各个像素点的驾驶员检测权重和安全带检测权重，并调整所述特征提取模型的参数，使同一像素点的驾驶员检测权重和驾驶员样本权重的差别在第一差别范围内，以及使同一像素点的安全带检测权重和安全带样本权重的差别在第二差别范围内；及

融合所述驾驶员权重和所述安全带权重，得到各个像素点的融合权重，并按照各个像素点的融合权重，确定所述目标图像中的安全带使用状态。

2.如权利要求1所述的方法，其特征在于，所述驾驶员权重包括将所述目标图像中的安全带使用状态确定为所述驾驶员系好所述安全带时，各个像素点的第一驾驶员权重，以及将所述目标图像中的安全带使用状态确定为所述驾驶员未系好所述安全带时，各个像素点的第二驾驶员权重；

所述融合所述驾驶员权重和所述安全带权重，包括：

融合所述第一驾驶员权重和所述安全带权重，得到各像素点的第一融合权重，以及融合所述第二驾驶员权重和所述安全带权重，得到各像素点的第二融合权重；

基于所述第一融合权重和所述第二融合权重，确定所述融合权重。

3.如权利要求2所述的方法，其特征在于，所述基于所述第一融合权重和所述第二融合权重，确定所述融合权重，包括：

对于任一所述像素点，在该像素点对应的第一融合权重和第二融合权重中，选择取值大的融合权重作为该像素点的融合权重。

4.如权利要求3所述的方法，其特征在于，所述按照各个像素点的融合权重，确定所述目标图像中的安全带使用状态，包括：

对于任一所述像素点，若该像素点的融合权重为所述第一融合权重，确定该像素点的安全带使用状态为所述驾驶员系好所述安全带；若该像素点的融合权重为所述第二融合权重，确定该像素点的安全带使用状态为所述驾驶员未系好所述安全带；

基于所述目标图像中各像素点的安全带使用状态，确定所述目标图像中的安全带使用状态。

5.如权利要求4所述的方法，其特征在于，所述基于所述目标图像中各像素点的安全带使用状态，确定所述目标图像中的安全带使用状态，包括：

在所述目标图像的像素点中，选择多个目标像素点；

在所述多个目标像素点中，统计安全带使用状态为所述驾驶员系好所述安全带的第一像素点个数，以及统计安全带使用状态为所述驾驶员未系好所述安全带的第二像素点个数；

若所述第一像素点个数大于所述第二像素点个数，确定所述目标图像中的安全带使用状态为所述驾驶员系好所述安全带；若所述第一像素点个数小于或等于所述第二像素点个数，确定所述目标图像中的安全带使用状态为所述驾驶员未系好所述安全带。

6.如权利要求5所述的方法，其特征在于，所述目标像素点是基于如下方法确定的：

在所述目标图像的像素点中，选择融合权重的取值大于权重阈值的像素点；

在选择出的像素点中，按照融合权重取值从大到小的顺序，选择多个像素点，作为所述目标像素点。

7.一种模型训练方法，其特征在于，所述方法包括：

获取驾驶位置区域的样本图像；

根据所述样本图像中的安全带使用状态，确定以所述样本图像中的驾驶员特征为基准来检测所述安全带使用状态时，所述样本图像中各个像素点的驾驶员样本权重，以及确定以所述样本图像中的安全带特征为基准来检测所述安全带使用状态时，所述样本图像中各个像素点的安全带样本权重；及

将所述样本图像输入待训练的特征提取模型，对所述特征提取模型进行训练，使所述特征提取模型输出所述样本图像中各个像素点的驾驶员检测权重和安全带检测权重，并调整所述特征提取模型的参数，使同一像素点的驾驶员检测权重和驾驶员样本权重的差别在第一差别范围内，以及使同一像素点的安全带检测权重和安全带样本权重的差别在第二差别范围内。

8.如权利要求7所述的方法，其特征在于，所述确定以所述样本图像中的驾驶员特征为基准来检测所述安全带使用状态时，所述样本图像中各个像素点的驾驶员样本权重，包括：

以所述驾驶员的驾驶员关注位置为基准，确定所述样本图像中各个像素点的驾驶员样本权重，其中，所述驾驶员关注位置为所述驾驶员理论上系所述安全带的位置。

9.如权利要求8所述的方法，其特征在于，所述以所述驾驶员的驾驶员关注位置为基准，确定所述样本图像中各个像素点的驾驶员样本权重，包括：

针对所述驾驶员关注位置处的像素点，将像素点的驾驶员样本权重设置为第一预设值，针对所述驾驶员关注位置外的像素点，将像素点的驾驶员样本权重设置为小于所述第一预设值的值。

10.如权利要求9所述的方法，其特征在于，所述针对所述驾驶员关注位置外的像素点，将像素点的驾驶员样本权重设置为小于所述第一预设值的值，包括：

针对所述驾驶员关注位置外的像素点，按照像素点与所述驾驶员关注位置之间的距离远近，将像素点的驾驶员样本权重设置为小于所述第一预设值的值，其中，距离所述驾驶员关注位置越远的像素点，对应的驾驶员样本权重越小。

11.如权利要求7所述的方法，其特征在于，所述确定以所述样本图像中的安全带特征为基准来检测所述安全带使用状态时，所述样本图像中各个像素点的安全带样本权重，包括：

若所述安全带使用状态为所述驾驶员系好所述安全带时，以所述安全带的安全带关注位置为基准，确定所述样本图像中各像素点的安全带样本权重，其中，所述安全带关注位置为所述安全带在所述样本图像中实际上所在的位置；

若所述安全带使用状态为所述驾驶员未系好所述安全带时，将所述样本图像中各个像素点的安全带样本权重设置为1。

12.如权利要求11所述的方法，其特征在于，所述以所述安全带的安全带关注位置为基准，确定所述样本图像中各像素点的安全带样本权重，包括：

针对在所述安全带关注位置处的像素点，将像素点的安全带样本权重设置为第二预设值，针对所述安全带关注位置外的像素点，将像素点的安全带样本权重设置为小于所述第二预设值的值。

13.如权利要求12所述的方法，其特征在于，所述针对所述安全带关注位置外的像素点，将像素点的安全带样本权重设置为小于所述第二预设值的值，包括：

针对所述安全带关注位置外的像素点，按照像素点与所述安全带关注位置之间的距离远近，将像素点的安全带样本权重设置为小于所述第二预设值的值，其中，距离所述安全带关注位置越远的像素点，对应的安全带样本权重越小。

14.如权利要求7所述的方法，其特征在于，所述对所述特征提取模型进行训练，包括：

通过所述特征提取模型确定以所述驾驶员特征为基准，对所述样本图像中的所述安全带使用状态进行检测时，所述样本图像中各个像素点的驾驶员检测权重，以及通过所述特征提取模型确定以所述安全带特征为基准，对所述样本图像中的所述安全带使用状态进行检测时，所述样本图像中各个像素点的安全带检测权重；

调整所述特征提取模型的参数，使同一像素点的驾驶员检测权重和驾驶员样本权重的差别在第一差别范围内，以及使同一像素点的安全带检测权重和安全带样本权重的差别在第二差别范围内。

15.如权利要求14所述的方法，其特征在于，所述驾驶员检测权重包括所述特征提取模型将所述样本图像中的安全带使用状态确定为所述驾驶员系好所述安全带时，各个像素点的第一驾驶员检测权重，以及所述特征提取模型将所述样本图像中的安全带使用状态确定为所述驾驶员未系好所述安全带时，各个像素点的第二驾驶员检测权重；

所述使同一像素点的驾驶员检测权重和驾驶员样本权重的差别在第一差别范围内，包括：

若所述样本图像中的所述安全带使用状态为所述驾驶员系好所述安全带，使同一像素点的驾驶员样本权重和第一驾驶员检测权重的差别在所述第一差别范围内；

若所述样本图像中的所述安全使用状态为所述驾驶员未系好所述安全带，使同一像素点的驾驶员样本权重和第二驾驶员检测权重的差别在所述第一差别范围内。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至6中任一所述的方法，或如权利要求7至15中任一所述的方法。

17.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至6中任一所述的方法，或如权利要求7至15中任一所述的方法。

Images