CN111539360A - 安全带佩戴识别方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提出一种安全带佩戴识别方法、装置及电子设备，涉及交通技术领域。其中，上述安全带佩戴识别方法包括：获取监控图像帧中的待识别图像区域；利用安全带识别模型对待识别图像区域进行识别处理，以得到分类为正常佩戴的第一置信度和分类为图像模糊的第二置信度；依据第一置信度和第二置信度，判断出现于待识别图像区域的人员是否佩戴安全带；其中，安全带识别模型包括并列的第一分类分支及第二分类分支；第一分类分支用于识别待识别图像区域所对应的第一置信度；第二分类分支用于识别待识别图像区域所对应的第二置信度。如此，在提高识别准确性的同时，实现了端到端处理，减少模型训练和最终部署难的问题，便于后期维护。

Description

安全带佩戴识别方法、装置及电子设备

技术领域

本发明涉及交通技术领域，具体而言，涉及一种安全带佩戴识别方法、装置及电子设备。

背景技术

佩戴安全带在行车驾驶中的重要程度不言而喻，然而，目前仍然存在行车过程中未佩戴安全带的行为。目前，监督是一种解决不戴安全带的有效手段，然而，人工监督所需的人力成本高，且可能存在遗漏。

相关技术中，利用深度学习模型识别监控视频中出现的车辆内乘坐的驾驶者和乘客是否有效的佩戴安全带。然而，直接利用深度学习模型区分驾驶者或者乘客是否未佩戴安全带时，可能受到监控图像质量的干扰。导致误判率提高。如果要进一步排除监控图像质量的干扰，则需要再部署一个深度学习模型。如此，不仅导致模型的复杂化，还增加了模型训练和部署的难度，还不利于后期维护。

发明内容

有鉴于此，本发明的目的在于提供一种安全带佩戴识别方法、装置及电子设备。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种安全带佩戴识别方法，应用于电子设备，所述电子设备内存储有安全带识别模型；所述安全带佩戴识别方法包括：获取监控图像帧中的待识别图像区域；利用安全带识别模型对所述待识别图像区域进行识别处理，以得到分类为正常佩戴的第一置信度和分类为图像模糊的第二置信度；依据所述第一置信度和第二置信度，判断出现于所述待识别图像区域的人员是否佩戴安全带；其中，所述安全带识别模型包括并列的第一分类分支及第二分类分支；所述第一分类分支用于识别所述待识别图像区域所对应的第一置信度；所述第二分类分支用于识别所述待识别图像区域所对应的第二置信度。

第二方面，本发明实施例提供一种安全带佩戴识别装置，应用于电子设备，所述电子设备内存储有安全带识别模型；所述安全带佩戴识别装置包括：获取模块，用于获取监控图像帧中的待识别图像区域；识别模块，用于利用安全带识别模型对所述待识别图像区域进行识别处理，以得到分类为正常佩戴的第一置信度和分类为图像模糊的第二置信度；判断模块，用于依据所述第一置信度和第二置信度，判断出现于所述待识别图像区域的人员是否佩戴安全带；其中，所述安全带识别模型包括并列的第一分类分支及第二分类分支；所述第一分类分支用于识别所述待识别图像区域所对应的第一置信度；所述第二分类分支用于识别所述待识别图像区域所对应的第二置信度。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施方式中任一项所述的方法。

与现有技术相比，本发明实施例提供的安全带佩戴识别方法通过获取监控图像帧中的待识别图像区域，并利用安全带识别模型中两个并行的分类分支对待识别图像区域进行识别处理，以得到分类为正常佩戴的第一置信度和分类为图像模糊的第二置信度。基于第一置信度能够准确的识别出正常佩戴安全带的情况，再基于第一置信度和第二置信度，排除模糊图像对未佩戴安全带的情况的判断干扰，从而提高是否佩戴安全带的判断准确性，避免出现误判。此外，所使用的安全带识别模型，一个模型具有两个分类分支，作为一种端到端的模型，减少模型训练和最终部署难的问题，便于后期维护。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的电子设备的示意图。

图2示出了本发明实施例提供的安全带佩戴识别方法的步骤流程图。

图3示出了出现车辆的监控图像帧的示例图。

图4为图2中步骤S102的子步骤流程图之一。

图5示出了本发明实施例提供的安全带识别模型的结构示例图。

图6为图2中步骤S102的子步骤流程图之二。

图7示出了本发明实施例提供的安全带佩戴识别方法的步骤流程图的另一部分。

图8为图7中步骤S201的子步骤流程图之一。

图9为图7中步骤S201的子步骤流程图之二。

图10为本发明实施例中预处理前后样本数据的示例图。

图11示出了本发明实施例提供的安全带佩戴识别装置的示意图。

图标：100-电子设备；110-存储器；120-处理器；130-通信模块；300-安全带佩戴识别装置；301-获取模块；302-识别模块；303-判断模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

安全带作为机动车辆中非常重要的安全装备，能够有效的保护驾驶员和乘客的人身安全。然而，总有驾驶员或乘客由于疏忽或抱有侥幸而不佩戴，以至于在交通事故中付出惨痛的代价。有效的监督是解决上述问题有效的方式，然而，人工监督监督所需的人力成本高，且可能存在遗漏。

为了降低人工监督所产生的巨额人力成本，智能交通系统应运而生。相关技术中，智能交通系统可以通过获取呈现道路上行驶车辆的监控数据，并利用通过训练实现区分佩戴安全带和未佩戴安全带的深度学习模型，对监控数据中出现车辆的画面进行识别处理，并将识别结果向相关人员展示，从而方便监督驾驶者或者乘客佩戴安全带。

然而，上述方式在实际应用中监控数据的图像帧可能受到天气恶劣、光照差等环境影响因素，导致图片质量不稳定。此外，图像帧中出现的车辆还可能由于车内装饰物品、人员衣物款式颜色复杂多样，致使最终的识别结果有误。

在另外一些相关技术中，会增加一个用于分辨图像质量的深度学习模型，用于排除监控数据中图像质量低所带来的影响。但是，增加新的深度学习模型后，评估过程较为复杂，也无法做到端到端，整个模型训练和部署均较麻烦，不利于实际应用推广。

为了改善上述问题，本发明实施例提供了一种安全带佩戴识别方法、装置及电子设备。

请参照图1，图1示出了本发明实施例中提供的电子设备100的示意图。上述电子设备100可以是用于训练模型时使用的设备，也可以是用于实际投入应用的部署终端，还可以是兼顾上述两种作用的设备。比如说，可以是服务器，还可以是移动智能终端。可以理解地，电子设备100是智能交通系统的重要组成部分。

如图1所示，上述电子设备100可以包括存储器110、处理器120及通信模块130。所述存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器110用于存储程序或者数据，比如，训练前的预设识别模型和训练后得到的安全带识别模型。所述存储器110可以是，但不限于，随机存取存储器110(RandomAccess Memory，RAM)，只读存储器110(Read Only Memory，ROM)，可编程只读存储器110(Programmable Read-Only Memory，PROM)，可擦除只读存储器110(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器110(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。

处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。

通信模块130用于通过所述网络建立所述服务器与其它通信终端之间的通信连接，并用于通过所述网络收发数据。

当然，电子设备100的功能模块也不限于上述存储器110、处理器120、通信模块130及之间的组合。能够用于部署深度学习模型并利用深度学习模型进行数据处理的设备均可视为本发明实施例中所提及的电子设备100。

请参考图2，图2示出了一种安全带佩戴识别方法的步骤流程图。上述安全带佩戴识别方法可以应用于上述电子设备100。如图2所示，上述安全带佩戴识别方法可以包括以下步骤：

步骤S101，获取监控图像帧中的待识别图像区域。

上述监控图像帧可以是监控数据中的图像帧。上述监控图像帧中可以呈现通过被监控路段的车辆的图像。

上述待识别图像区域可以是监控图像帧中包括乘坐于车辆前排的人员的图像区域。

在一些实施例中，可以逐帧检验视频数据，将包含有乘坐于车辆前排的人员的图像区域的整个监控图像帧作为待识别图像区域。

在另一些实施例中，可以逐帧检验视频数据，将出现车辆的监控图像帧中包含有乘坐于车辆前排的人员的图像区域确定为待识别图像区域。

步骤S102，利用安全带识别模型对待识别图像区域进行识别处理。

上述安全带识别模型可以用于计算待识别图像区域被分类为正常佩戴的置信度和用于计算待识别图像区域被分类为模糊图像的置信度。可以理解地，上述安全带识别模型在结构上具有两个并行的分类分支，因此，该安全带识别模型可以基于对待识别图像区域的特征提取获得到属于两种分类结果的置信度，实现了端到端的数据处理机制。换句话说，上述安全带识别模型包括并列的第一分类分支及第二分类分支。上述第一分类分支用于识别待识别图像区域所对应的第一置信度，上述第二分类分支用于识别所述待识别图像区域所对应的第二置信度。

上述置信度用于表征待识别图像区域的一种分类结果为真的可能性。在一些实施例中，上述置信度可以通过概率的形式表示。

在一些实施例中，上述安全带识别模型对待识别图像区域进行识别处理，可以输出将待识别图像区域分类为正常佩戴的第一置信度和将待识别图像区域分类为图像模糊的第二置信度。

步骤S103，依据第一置信度和第二置信度，判断出现于待识别图像区域的人员是否佩戴安全带。

在一些实施例中，可以根据第一置信度判断待识别图像区域是否属于正常佩戴安全带的情况。

可以理解地，是否佩戴安全带的判断结果容易受到监控图像帧的图像质量所影响。显然，简单地将分类不是正常佩戴的待识别图像区域粗略地归类为未佩戴安全带是不准确的，可能造成误判驾驶者或者乘客未佩戴安全带。

此外，智能交通系统更为关注人员未佩戴安全带的识别效果，对未佩戴安全带的识别准确率有较高要求，即期望误检情况更少。但是从图像特征的角度来说，实际情况为未佩戴的监控图像帧并无显性的图像特征，而“有佩戴”和“模糊”均有明显的图像特征，从而利用深度学习模型对“有佩戴”和“模糊”两类图像的学习更容易收敛，换句话说，经过模型训练后，利用深度学习模型对“有佩戴”或“模糊”进行分析所得到的置信度表征实际情况的可靠性更强。

因此，将分类为不属于正常佩带和不属于图像模糊的待识别图像区域归类于未佩戴安全带，能够避免关于未佩戴的误判定，从而提高识别的准确性。对应的，在本发明的一些实施例中，可以根据第一置信度和第二置信度判断车辆中的驾驶员和乘客是否存在未佩戴安全带的情况。

可见，本发明实施例所提的安全带佩戴识别方法通过将监控图像帧中才出现在车辆中的人员区域作为待识别图像区域，并利用安全带识别模型获取待识别图像区域被分类为正常佩戴的第一置信度和被分类为图像模糊的第二置信度。基于对正常佩戴和图像模糊的识别，判断是否存在未佩戴安全带的情况，从而满足智能交通系统对安全带佩戴识别的准确度需求。此外，对正常佩戴和图像模糊两种不同情况进行分类时，可以通过一个安全带识别模型同步实现，实现端到端的数据处理。相较于相关技术中采用两个深度学习模型分别判断待识别图像区域的分类是否为正常佩戴，及判断待识别图像区域的分类是否为图像模糊。本发明实施例所提供的安全带识别模型更便于进行模型训练以及模型部署。

为了使得本领域技术人员能够使用本申请内容，下面通过一个示例性实施例对上述安全带佩戴识别方法进行描述。

交通管理服务器可以从设置于各个路口的卡口摄像机中获取实时采集的监控图像帧。如图3所示的监控图像帧中存在车辆，从该监控图像帧中获取乘坐于车内的人像区域(即，待识别图像区域)，将该人像区域输入安全带识别模型，以得到将该人像区域分类为正常佩戴安全带的第一置信度和分类为图像模糊的第二置信度，进而，基于第一置信度和第二置信度判断人像区域所呈现的人员是否佩戴安全带。

下面对本发明实施例的细节进行描述：

在一些实施例中，上述安全带识别模型包括有第一特征提取层。上述第一特征提取层用于从待识别图像区域中进行图像特征提取，输出第一特征数据。比如，上述待识别图像区域所对应的特征图。

比如，上述第一特征提取层可以是基于具体的耗时、存储空间和识别精度需求，从ResNet、DenseNet、VGG之类的预训练模型主干网络中选出的一种特征提取网络层。

在第一种实施方式中，上述第一特征提取层输出的第一特征数据可以分别进入安全带识别模型中的第一分类分支和第二分类分支。因此，在一些实施例中，如图4所示上述步骤S102包括：

子步骤S102-1，利用第一特征提取层提取待识别图像区域的第一特征数据。

在一些实施例中，上述第一特征提取层的输出侧可以与数据维数调整层(也即，Reshape层)的输入侧连接，以使第一特征提取层提取到的第一特征数据经过Reshape层处理后分别进入第一分类分支和第二分类分支。上述数据维数调整层用于在不改变数值总数量的前提下改变数据各维度的维数。

子步骤S102-2，分别利用第一分类分支和第二分类分支对第一特征数据进行评估，以得到对应的第一置信度和第二置信度。

上述第一分类分支包括第一全连接层和第一输出层。上述第一全连接层的输入侧与Reshape层的输出侧连接，用于接收Reshape层处理后的第一特征数据。上述第一全连接层的输出侧与第一输出层的输入侧连接。可选地，上述第一输出层可以是实现二分类的输出层。比如，第一输出层所采用的激活函数可以是sigmoid函数，当然，这仅为举例不代表对激活函数选择的限定。

在一些实施例中，第一全连接层获得第一特征数据后，对所得到的第一特征数据进行分类评估。第一全连接层主要用于分类结果包括正常佩戴和他其情况。第一输出层用于根据第一全连接层的分类结果，输出被分类为正常佩戴的置信度，也即，第一置信度。

同样的，上述第二分类分支包括第二全连接层和第二输出层。上述第二全连接层的输入侧与Reshape层的输出侧连接，用于接收Reshape层处理后的第一特征数据。上述第二全连接层的输出侧与第二输出层的输入侧连接。可选地，上述第二输出层可以是用于实现二分类的输出层。

在一些实施例中，第二全连接层获得第一特征数据后，对所得到的第一特征数据进行分类评估。第二全连接层主要用于分类结果包括图像模糊和他其情况。第二输出层用于根据第二全连接层的分类结果，输出被分类为图像模糊的置信度，也即，第二置信度。

在另一些实施例中，如图5所示，上述安全带识别模型还可以包括检测分支。上述检测分支有助于安全带识别模型识别安全带在待识别图像区域中的位置，换句话说，其可以通过提高模型对安全带的检测能力，促进模型识别分类的准确性得到有效地提升。

上述检测分支可以包括第二特征提取层及安全带热图检测层。

上述第二特征提取层用于从第一特征数据中提取与安全带相关的特征并降低通道维数。因此，可以理解地，第二特征提取网络的输入侧也与第一特征提取网络的输出侧连接。此外，该层需保持输入输出的特征数据的尺寸一致。

上述安全带热图检测层用于根据第二特征提取层的输出结果生成安全带热图。上述安全带热图可以是采用特殊高亮的形式呈现安全带在待识别图像区域的位置。换句话说，越有可能呈现安全带的像素点，所对应的亮度相对越高，反之，所对应的亮度越低。上述安全带热图检测层的输入侧与第二特征提取层的输出侧连接。一种可能的实现方式，上述安全带热图检测层的输出通道数设为1，采用ReLU作为激活函数。

可以理解地，待识别图像区域经过第一特征提取层、第二特征提取层、安全带热图检测层的处理后输出的数据尺寸会变小，为了便于进行模型训练时计算该检测分支所对应的误差，上述检测分支还可以包括上采样层。上述上采样层的输入侧与上述安全带热图检测层的输出侧连接。该上采样层利用双线性插值法将安全带热图的尺寸还原为输入图片(即，待识别图像区域)的大小。

此外，安全带热图检测层的输出侧还与设置于第一特征提取层和reshape层之间的融合层相连。融合层的输入侧不仅与安全带热图检测层的输出侧连接，还与第一特征提取层的输出侧连接。融合层用于先将安全带热图进行通道数量扩展处理，再将其与第一特征数据相融合，得到的第二特征数据。

在第二种实施方式中，融合层的输出的第二特征数据可以通过Reshape层分别进入安全带识别模型中的第一分类分支和第二分类分支。因此，在一些实施例中，如图6所示上述步骤S102可以包括：

子步骤S102-3，利用第一特征提取层提取待识别图像区域的第一特征数据。

在本发明实施例中，第一特征提取层得到第一特征数据后，还需将该第一特征数据输入第二特征提取层。

子步骤S102-4，根据第一特征数据，利用第二特征提取层提取安全带特征数据。

在本发明实施例中，可以是利用第二特征提取层对第一特征数据进行处理，并由其输出侧输出安全带特征数据，比如，与安全带相关的特征图。

此时，由于安全带热图检测层的输入侧与第二特征提取层的输出侧相连，因此，安全带热图检测层可以获得上述安全带特征数据。

子步骤S102-5，基于安全带特征数据，利用安全带热图检测层，生成安全带热图。

在本发明实施例中，可以是利用安全带热图检测层对安全带特征数据进行处理，其输出侧输出安全带热图。

子步骤S102-6，将安全带热图与第一特征数据融合，生成第二特征数据。

在本发明实施例中，可以是融合层将安全带热图的通道数量扩张到与第一特征数据相同后，再将其与初始的第一特征数据融合，从而，得到第二特征数据。

在一些实施例中，将第二特征数据输入reshape层，经reshape层处理后，分别输入第一分类分支和第二分类分支进行处理。

子步骤S102-7，分别利用第一分类分支和第二分类分支对第二特征数据进行评估，以得到对应的第一置信度和第二置信度。

在一些实施例中，上述第一分类分支的第一全连接层获得第二特征数据后，对所得到的第二特征数据进行分类评估。第一全连接层主要用于分类结果包括正常佩戴和他其情况。上述第一分类分支的第一输出层用于根据第一全连接层的分类结果，输出被分类为正常佩戴的置信度，也即，第一置信度。

在一些实施例中，上述第二分类分支的第二全连接层获得第二特征数据后，对所得到的第二特征数据进行分类评估。第二全连接层主要用于分类结果包括图像模糊和他其情况。上述第二分类分支的第二输出层用于根据第二全连接层的分类结果，输出被分类为图像模糊的置信度，也即，第二置信度。

如此，基于检测分支对安全带位置的检测结果，有助于分类分支更好的判断是否正常佩戴安全带以及判断安全带所属区域的图像质量是否模糊至难以被识别。

在一些实施例中，上述步骤S103的子步骤可以包括：

子步骤S103-1，当第一置信度大于第一阈值时，判定出现于待识别图像区域的人员正常佩戴安全带。

比如，设置第一阈值为0.5，当输出的第一置信度大于0.5则判定出现于待识别图像区域的人员正常佩戴安全带。此时，对于该待识别图像区域的识别已有结果，便可结束针对该待识别图像区域的处理流程。需要说明的是，第一阈值的实际取值可以根据实际应用中对精度的要求设置，也即，设置第一阈值为0.5仅仅为一个示例，并不代表对第一阈值取值的限定。

子步骤S103-2，当第一置信度不大于第一阈值且第二置信度不大于第二阈值时，判定出现于所述待识别图像区域的人员未正常佩戴安全带。

比如设置第二阈值也为0.5，当第一置信度不大于0.5且第二置信度也不大于0.5时，判定出现于待识别图像区域的人员未正常佩戴安全带。需要说明的是，第二阈值的实际取值也是根据实际应用中对精度的要求设置，也即，设置第二阈值为0.5仅仅为一个示例，并不代表对第二阈值取值的限定。

子步骤S103-3，当第一置信度不大于第一阈值且第二置信度大于第二阈值时，判定待识别图像区域属于图像模糊。

接上例，当第一置信度不大于0.5且第二置信度大于0.5时，判定待识别图像区域属于图像模糊。需要说明的是，图像模糊虽然不能直接输出对是否佩戴安全带的判定，但是有效的避免误判的发生。此外，监控数据中在同时段及同路段中可以有与车辆相关的多帧监控图像帧，也就是，即便是某一帧监控图像帧由于图像质量问题导致未输出对安全带佩戴情况的判定结果，也可以从其他角度、位置采集到的监控图像帧中对车辆中人员的安全带佩戴情况进行识别，如此，依然能够起到有效监督效果。

另外，上述安全带识别模型可以通过对预先配置的预设识别模型进行训练后得到。换句话说，从结构的角度上看，安全带识别模型与预设识别模型是相同的。

对应地，作为一种实施方式，上述预设识别模型可以包括第一初始特征提取层、初始reshape层、第一初始分类分支和第二初始分类分支。

对应地，作为另外一种实施方式，上述预设识别模型也可以包括第一初始特征提取层、初始reshape层、第一初始分类分支、第二初始分类分支和初始检测分支。同时，初始检测分支又包括第二初始特征提取层、初始安全带热图检测层及初始上采样层。

上述针对预设识别模型的训练过程可以独立进行，也可以在步骤S101之前进行。因此，如图7所示，在一些实施例中，上述安全带佩戴识别方法还可以包括：

步骤S201，利用获取到的样本图像总集合对预设识别模型进行训练，生成安全带识别模型。

上述样本图像集中包含有可以作为待识别图像区域的样本图像。比如，可以预先从已得到监控数据中抽取多张监控图像帧，并从得到的监控图像帧中获取多张乘坐于车辆前排的人员的图像区域，作为样本图像。

上述样本图像集中的样本图像主要分为三类，即，分为确定是正常佩戴安全带的样本图像、确定未佩戴安全带的样本图像以及确定图像模糊的样本图像。

上述预设识别模型可以是预先搭建好并存储于电子设备100内。

为了方便本领域技术人员理解上述预设识别模型的搭建过程，下面通过一个示例进行描述：利用PyTorch、TensorFlow或其它深度学习框架建立预设识别模型的框架，该预设识别模型的输入为三通道RGB图片，图片尺寸为96*96。第一初始特征提取层采用经ImageNet数据集预训练过的resnet18的前10层，其所输出的第一特征数据大小为12*12，通道数为256。此外，在预设初始模型具有初始检测分支的场景下，上述初始检测分支的第二初始特征提取层采用两层CNN，输出通道分别设为128,32，kernel_size均为3，padding为1。初始安全带热图检测层采用一层CNN，输出通道数为1，kernel_size设为1，输出的安全带热图的尺寸为12*12。初始上采层为8倍双线性上采样，将12*12的安全带热图放大成96*96的热图。此外，还将初始安全带热图检测层的输出层与设置于第一初始特征提取层和初始reshape层之间的初始融合层相连，初始融合层用于将12*12的安全带热图的通道数从1扩展为256后与第一初始特征提取网络输出的第一特征数据相加后输入reshape层，以便于分别将特征输入到第一初始全连接层和第二初始全连接层。

在一些实施例中，如图8所示，上述利用获取到的样本图像总集合对预设识别模型进行训练的步骤包括：

子步骤S201-1，将样本图像总集合中属于正常佩戴的样本图像作第一标记及将样本图像总集合中其他样本图像作第二标记，生成第一样本集合。

比如，将样本图像总集合中属于正常佩戴的样本图像对应的训练标记设置为1，将样本图像总集合中除了属于正常佩戴之外的其他样本图像对应的训练标记设置为0，从而生成一个新的样本集合，即，第一样本集合。

可以理解地，上述第一标记和第二标记仅用于区分属于正常佩戴的样本图像和除此之外的样本图像，因此，在实际应用时不会对其具体取值进行限定。

子步骤S201-2，将样本图像总集合中属于图像模糊的样本图像作第一标记及将样本图像总集合中其他样本图像作第二标记，生成第二样本集合。

比如，将样本图像总集合中属于图像模糊的样本图像对应的训练标记设置为1，将样本图像总集合中除了属于图像模糊之外的其他样本图像对应的训练标记设置为0，从而生成一个新的样本集合，即，第二样本集合。

在一些实施例中，上述子步骤S201-1和子步骤S201-2之间没有必然的先后顺序。

子步骤S201-3，利用第一样本集合针对第一初始分类分支进行训练得到第一损失值。

在一些实施例中，可以将第一样本集合中的样本图像都输入预设识别模型，经由预设识别模型处理后，根据第一初始分类分支的输出与该样本图像的训练标记，计算第一损失值。

子步骤S201-4，利用第二样本集合针对第二初始分类分支进行训练得到第二损失值。

在一些实施例中，可以将第二样本集合中的样本图像都输入预设识别模型，经由预设识别模型处理后，根据第二初始分类分支的输出与该样本图像的训练标记，计算第二损失值。

上述子步骤S201-3和子步骤S201-4之间并无必然的先后顺序。

子步骤S201-5，根据第一损失值及第二损失值，对预设识别模型的模型参数进行迭代，以得到安全带识别模型。

作为一种实施方式，可以是基于所得到的第一损失值及第二损失值进行加权求和，得到总损失值。在基于总损值反向更新预设识别模型的模型参数(又名：模型权重)。

上述子步骤S201-3至步骤S201-5构成一轮训练迭代，本发明实施例可以根据第一样本集合和第二样本集合中的样本数据对预设识别模型反复进行迭代更新，直至触发迭代终止条件，将此时的预设识别模型作为安全带识别模型。

上述终止条件可以根据模型收敛情况选择。比如，终止条件可以包括以下条件之一或之间的组合：

(1)迭代次数达到上限。

(2)利用第一验证集对预设识别模型进行检验时，第一初始分类分支输出的第一置信度与所对应的训练标记之间的损失值小于预设值。需要说明的是，上述第一验证集是由第一样本集合中划分出的样本图像构成。

(3)利用第二验证集对预设识别模型进行检验时，第二初始分类分支输出的第二置信度与所对应的训练标记之间的损失值小于预设值。需要说明的是，上述第二验证集是由第二样本集合中划分出的样本图像构成。

步骤S202，将所得到的安全带识别模型进行存储。

此外，为了提升模型的泛化能力，可选择性的对训练数据采用随机Crop、添加随机噪声、随机调整亮度、随机添加高斯模糊等数据增强操作。

如前所说，在一些实施例中，预设识别模型还可以包括检测分支。显然，在训练预设识别模型的过程中还包括对检测分支的训练过程。因此，在图8所示的步骤S201的基础上，如图9所示，上述步骤S201还包括：

子步骤S201-6，将样本图像总集合中属于正常佩戴的样本图像进行预处理，得到对应的标记有安全带位置范围的安全带样本热图，并生成第三样本集。

在一些实施例中，上述针对属于正常佩戴的样本图像进行预处理的步骤包括：

首先，在样本图像中确定多个呈现安全带的特征位置点。在一些实施例中，上述多个特征位置点之间存在一定间隔。比如图10所示出的，在样本图像中确定5个位置特征点，分别位于图中呈现安全带的图像区域的两端、中间、1/4处和3/4处。

其次，将多个特征位置点连成折线，并保存折线上所有像素点的坐标，设像素点坐标集为C{(x1,y1),(x2,y2),…}。

最后，利用二维高斯滤波函数生成二维高斯分布模板，基于像素点坐标集进行处理，以得到安全带样本热图。上述二维高斯分布模板所对应的高斯核的半径决定了安全带热图的宽度。接上例，可设二维高斯分布模板G所对应的高斯核的半径为3个像素点，生成一个零矩阵H，以坐标集C中所记录的坐标值在零矩阵H上叠加二维高斯分布模板G，从而得到安全带热图。

子步骤S201-7，利用第三样本集针对初始检测分支进行训练得到第三损失值。

上述子步骤S201-6和子步骤S201-7均可以在子步骤S201-5之前。可选地，子步骤S201-6与子步骤S201-1、子步骤S201-2之间没有必然的先后顺序。可选地，子步骤S201-7与子步骤S201-3、子步骤S201-4之间没有必然的先后顺序。

在一些实施例中，可以将第三样本集合中的样本图像都输入预设识别模型，经由预设识别模型处理后，根据初始检测分支的输出结果(即，初始上采样层的输出结果)与该样本图像所对应的原始图，计算对应的第三损失值。此处需要说明的是，第三样本集合中的样本图像都是将正常佩戴安全带的样本图像经过预处理后得到的安全带热图，换句话说，第三样本集合中的样本图像的原始图可以是预处理之前的正常佩戴安全带的样本图。

在此实施例下，上述子步骤S201-5还可以是：根据所述第一损失值、第二损失值和第三损失值，对预设识别模型的模型参数进行迭代，直到触发终止条件。

作为另一种实施方式，子步骤S201-5可以是基于所得到的第一损失值、第二损失值及第三损失值进行加权求和，得到总损失值。在基于总损值反向更新预设识别模型的模型参数。

当然，对应地，上述终止条件也就还包括第四个可选项，即：

利用第三验证集对预设识别模型进行检验时，根据初始上采样层的输出结果所计算出的损失值小于预设值。需要说明的是，上述第三验证集是由第三样本集合中划分出的样本图像构成。

综上所述，在一些实施例中，上述安全带佩戴识别方法利用安全带识别模型中两个并列的分类分支对输入的待识别图像区域进行分类识别，从而同时得到待识别图像区域属于正常佩戴的第一置信度和属于图像模糊的第二置信度。然后，利用第一置信度判断待识别图像区域中出现人员是否正常佩戴。在不能确定待识别图像区域中出现人员属于正常佩戴的情况下，再基于第二置信度，排除图像模糊的干扰，最终确认待识别图像区域中出现人员是否存在未佩戴安全带的行为。如此，通过准确的判定安全带的佩戴情况，更有利于对乘坐车辆的人员进行安全带佩戴监督。此外，在另一些实施例中，为了进一步提高判定的准确程度，还在安全带识别模型中加入检测分支。以帮助安全带识别模型提高对图像中安全带所对应位置的识别能力，进而促进安全带是否佩戴的判定准确性。

此外，训练得到上述实施例中所用的安全带识别模型的原理基本相似。针对不同的分支(比如，第一分类分支，第二分类分支和检测分支)建立不同的样本集，并针对的进行训练，最后，将各分支的损失值按权重进行叠加，整体地对模型的模型参数进行迭代更新，直至触发终止条件。比如，训练时，采用Adam优化算法，学习率设为5e-5，batch大小设为128，三个分支的损失函数均采用均方差，最大训练轮次设为100，停止条件设为连续20轮训练未获得更低验证集损失值。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种安全带佩戴识别装置300的实现方式，可选地，该安全带佩戴识别装置300可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图11，图11为本发明实施例提供的一种安全带佩戴识别装置300的功能模块图。需要说明的是，本实施例所提供的安全带佩戴识别装置300，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该安全带佩戴识别装置300包括：获取模块301、识别模块302及判断模块303。

获取模块301，用于获取监控图像帧中的待识别图像区域。

在本发明实施例中，上述步骤S101可以由获取模块301执行。

识别模块302，用于利用安全带识别模型对待识别图像区域进行识别处理，以得到分类为正常佩戴的第一置信度和分类为图像模糊的第二置信度。

在本发明实施例中，上述步骤S102可以由识别模块302执行。

判断模块303，用于依据第一置信度和第二置信度，判断出现于待识别图像区域的人员是否佩戴安全带。

在本发明实施例中，上述步骤S103可以由判断模块303执行。

可选地，安全带识别模型包括并列的第一分类分支及第二分类分支。第一分类分支用于识别待识别图像区域所对应的第一置信度。第二分类分支用于识别待识别图像区域所对应的第二置信度。

在一些实施例中，上述装置还可以包括：

训练模块，用于利用获取到的样本图像总集合对所述预设识别模型进行训练，生成安全带识别模型。

在本发明实施例中，上述步骤S201可以由训练模块执行。

存储模块，用于将安全带识别模型进行存储。

在本发明实施例中，上述步骤S202可以由存储模块执行。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于该电子设备100的操作系统(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种安全带佩戴识别方法，其特征在于，应用于电子设备，所述电子设备内存储有安全带识别模型；所述安全带佩戴识别方法包括：

获取监控图像帧中的待识别图像区域；

利用安全带识别模型对所述待识别图像区域进行识别处理，以得到分类为正常佩戴的第一置信度和分类为图像模糊的第二置信度；

依据所述第一置信度和第二置信度，判断出现于所述待识别图像区域的人员是否佩戴安全带；

其中，所述安全带识别模型包括并列的第一分类分支及第二分类分支；所述第一分类分支用于识别所述待识别图像区域所对应的第一置信度；所述第二分类分支用于识别所述待识别图像区域所对应的第二置信度。

2.根据权利要求1所述的安全带佩戴识别方法，其特征在于，所述安全带识别模型还包括第一特征提取层；所述利用安全带识别模型对所述待识别图像区域进行识别处理的步骤包括：

利用所述第一特征提取层提取所述待识别图像区域的第一特征数据；

分别利用所述第一分类分支和第二分类分支对所述第一特征数据进行评估，以得到对应的所述第一置信度和第二置信度。

3.根据权利要求1所述的安全带佩戴识别方法，其特征在于，所述依据所述第一置信度和第二置信度，判断出现于所述待识别图像区域的人员是否佩戴安全带的步骤包括：

当所述第一置信度大于第一阈值时，判定出现于所述待识别图像区域的人员正常佩戴安全带；

当所述第一置信度不大于第一阈值且所述第二置信度不大于第二阈值时，判定出现于所述待识别图像区域的人员未正常佩戴安全带；

当所述第一置信度不大于第一阈值且所述第二置信度大于第二阈值时，判定所述待识别图像区域属于图像模糊。

4.根据权利要求1所述的安全带佩戴识别方法，其特征在于，所述安全带识别模型还包括第一特征提取层及检测分支；所述检测分支包括第二特征提取层及安全带热图检测层；所述利用安全带识别模型对所述待识别图像区域进行识别处理的步骤包括：

利用所述第一特征提取层提取所述待识别图像区域的第一特征数据；

根据所述第一特征数据，利用所述第二特征提取层提取安全带特征数据，并输入所述安全带热图检测层；

基于所述安全带特征数据，利用所述安全带热图检测层，生成安全带热图；

将所述安全带热图与所述第一特征数据融合，生成第二特征数据；

分别利用所述第一分类分支和第二分类分支对所述第二特征数据进行评估，以得到对应的所述第一置信度和第二置信度。

5.根据权利要求1所述的安全带佩戴识别方法，其特征在于，所述电子设备内存储有预设识别模型；所述安全带佩戴识别方法还包括：利用获取到的样本图像总集合对所述预设识别模型进行训练，生成所述安全带识别模型，并存储。

6.根据权利要求5所述的安全带佩戴识别方法，其特征在于，所述预设识别模型包括：第一初始分类分支和第二初始分类分支；所述利用获取到的样本图像数据对所述预设识别模型进行训练的步骤包括：

将所述样本图像总集合中属于正常佩戴的样本图像作第一标记及将所述样本图像总集合中其他样本图像作第二标记，生成第一样本集合；

将所述样本图像总集合中属于图像模糊的样本图像作第一标记及将所述样本图像总集合中其他样本图像作第二标记，生成第二样本集合；

利用所述第一样本集合针对所述第一初始分类分支进行训练得到第一损失值；

利用所述第二样本集合针对所述第二初始分类分支进行训练得到第二损失值；

根据所述第一损失值及第二损失值，对所述预设识别模型的模型参数进行迭代，以得到所述安全带识别模型。

7.根据权利要求6所述的安全带佩戴识别方法，其特征在于，在预设识别模型包括初始检测分支时，

所述利用获取到的样本图像数据对所述预设识别模型进行训练的步骤还包括：

将样本图像总集合中属于正常佩戴的样本图像进行预处理，得到对应的标记有安全带位置范围的安全带样本热图，并生成第三样本集；

利用所述第三样本集针对所述初始检测分支进行训练得到第三损失值；

所述根据所述第一损失值及第二损失值，对所述预设识别模型的模型参数进行迭代的步骤包括：根据所述第一损失值、第二损失值和第三损失值，对所述预设识别模型的模型参数进行迭代，以得到所述安全带识别模型。

8.一种安全带佩戴识别装置，其特征在于，应用于电子设备，所述电子设备内存储有安全带识别模型；所述安全带佩戴识别装置包括：

获取模块，用于获取监控图像帧中的待识别图像区域；

识别模块，用于利用安全带识别模型对所述待识别图像区域进行识别处理，以得到分类为正常佩戴的第一置信度和分类为图像模糊的第二置信度；

判断模块，用于依据所述第一置信度和第二置信度，判断出现于所述待识别图像区域的人员是否佩戴安全带；

其中，所述安全带识别模型包括并列的第一分类分支及第二分类分支；所述第一分类分支用于识别所述待识别图像区域所对应的第一置信度；所述第二分类分支用于识别所述待识别图像区域所对应的第二置信度。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

Images