CN117710946A - 基于车载摄像头的安全带使用识别方法、装置和存储介质 - Google Patents

Abstract

本发明公开了一种基于车载摄像头的安全带使用识别方法、计算机装置和存储介质，本发明通过获取人员图像的位置类型信息，使用了人员图像中包含的先验信息，根据这样的先验信息选择具有相应对角形式的边缘算子以及模板特征，来对人员图像进行特征提取和安全带使用状态识别，能够有效识别出人员图像中是否存在安全带，从而识别出安全带使用状态，在此过程中避免了对人员图像中的车上人员身份进行识别和区分等冗余过程，同时由于利用了先验信息，可以降低人员图像的背景等因素对安全带识别带来的干扰，从而减少了流程的冗余以及对固定场景的依赖，实现了高效率、高适用、高可靠的安全带识别能力。本发明广泛应用于计算机视觉技术领域。

Description

基于车载摄像头的安全带使用识别方法、装置和存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其是一种基于车载摄像头的安全带使用识别方法、计算机装置和存储介质。

背景技术

在相当多的交通事故中，车上人员因未正确使用安全带，从而遭遇严重的生命健康伤害。因此，对车上人员是否正确使用安全带进行识别和提示，有利于督促人员在驾驶或乘坐汽车时正确使用安全带，从而保障交通安全。

目前的相关技术中，普遍使用安装在安全带等部件上的传感器来检测安全带是否处于工作状态，当检测到安全带未被使用时，则发出警报声来进行提示，但是，市面上出现了“安全带插扣”之类的产品，使用这些产品可以欺骗传感器，从而在安全带实际未被使用的情况下，传感器仍检测到安全带被使用的工作状态，从而不再发出警报声。也就是说，目前的安全带使用识别相关技术容易被规避，存在严重的安全漏洞。

发明内容

针对目前的安全带使用识别技术中，存在容易被车上人员规避的检测盲区，从而存在严重的安全漏洞等技术问题，本发明的目的在于提供一种基于车载摄像头的安全带使用识别方法、计算机装置和存储介质，可以降低人员图像的背景等因素对安全带识别带来的干扰，实现高可靠的安全带识别能力。

一方面，本发明实施例包括一种基于车载摄像头的安全带使用识别方法，包括：

获取人员图像；所述人员图像来自车载摄像头拍摄，所述人员图像的内容包含车上人员；

获取所述人员图像的位置类型信息；所述位置类型信息用于表示所述人员图像对应的车上人员的位置类型；

根据所述位置类型信息，获取相应对角形式的边缘算子以及若干个模板特征；

使用所述边缘算子对所述人员图像进行边缘特征提取，获得待识别边缘特征；

根据所述待识别边缘特征与所述模板特征，识别安全带使用状态。

进一步地，所述获取人员图像，包括：

控制车载摄像头拍摄得到车载图像；

对所述车载图像进行人员识别；

根据人员识别结果，从所述车载图像中裁剪出若干张所述人员图像；每张所述人员图像包含一名车上人员；

使用对比限制自适应直方图均衡化方法，对各所述人员图像进行图像增强。

进一步地，所述获取所述人员图像的位置类型信息，包括：

检测所述人员图像在所述车载图像中的位置，获得所述人员图像对应的定位信息；

确定所述车载图像中的驾驶员位置；

根据所述定位信息与所述驾驶员位置之间的相对位置关系，确定所述人员图像对应的分类信息；

以所述定位信息与所述分类信息，作为所述位置类型信息。

进一步地，所述根据所述位置类型信息，获取相应对角形式的边缘算子以及若干个模板特征，包括：

当所述位置类型信息表示所述定位信息与所述驾驶员位置位于同一侧，获取逆对角边缘算子和若干个逆对角模板特征；

当所述位置类型信息表示所述定位信息与所述驾驶员位置位于不同侧，获取正对角边缘算子和若干个正对角模板特征。

进一步地，所述获取逆对角边缘算子和若干个逆对角模板特征，包括：

设定所述逆对角边缘算子；所述逆对角边缘算子为方阵，所述逆对角边缘算子的对角线元素为零，所述逆对角边缘算子的左上角元素与右下角元素互为相反数；

获取若干个逆对角线方向安全带模板图像；所述逆对角线方向安全带模板图像的内容包含已系上安全带的人员，且安全带的方向为逆对角线方向；

使用所述逆对角边缘算子分别对各所述逆对角线方向安全带模板图像进行边缘特征提取，获得各所述逆对角线方向安全带模板图像各自对应的逆对角模板特征；

所述获取正对角边缘算子和若干个正对角模板特征，包括：

设定所述正对角边缘算子；所述正对角边缘算子为方阵，所述正对角边缘算子的对角线元素为零，所述正对角边缘算子的左下角元素与右上角元素互为相反数；

获取若干个正对角线方向安全带模板图像；所述正对角线方向安全带模板图像的内容包含已系上安全带的人员，且安全带的方向为正对角线方向；

使用所述正对角边缘算子分别对各所述正对角线方向安全带模板图像进行边缘特征提取，获得各所述正对角线方向安全带模板图像各自对应的正对角模板特征。

进一步地，所述使用所述边缘算子对所述人员图像进行边缘特征提取，获得待识别边缘特征，包括：

对所述人员图像进行无填充形式的滑动窗口采样，获得多个采样窗口；

使用所述边缘算子分别对各所述采样窗口进行边缘特征提取，获得各所述采样窗口各自对应的待识别边缘特征。

进一步地，根据所述待识别边缘特征与所述模板特征，识别安全带使用状态，包括：

对于任一所述待识别边缘特征，分别获取所述待识别边缘特征与各所述模板特征之间的相似度，获取所述待识别边缘特征对应全部所述相似度的相似度均值；

根据对应所述待识别边缘特征的提取顺序，对各所述相似度均值进行序列化，获得特征序列；

根据所述特征序列进行分类，获得分类结果；

根据所述分类结果，确定所述安全带使用状态为已使用安全带或者未使用安全带。

进一步地，所述根据所述特征序列进行分类，获得分类结果，包括：

将所述特征序列输入支持向量机；

获取所述支持向量机输出的所述分类结果。

另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的一种基于车载摄像头的安全带使用识别方法。

另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的一种基于车载摄像头的安全带使用识别方法。

本发明的有益效果是：实施例中的基于车载摄像头的安全带使用识别方法，通过获取人员图像的位置类型信息，使用了人员图像中包含的先验信息，根据这样的先验信息选择具有相应对角形式的边缘算子以及模板特征，来对人员图像进行特征提取和安全带使用状态识别，能够有效识别出人员图像中是否存在安全带，从而识别出安全带使用状态，在此过程中避免了对人员图像中的车上人员身份进行识别和区分等冗余过程，同时由于利用了先验信息，可以降低人员图像的背景等因素对安全带识别带来的干扰，从而减少了流程的冗余以及对固定场景的依赖，实现了高效率、高适用、高可靠的安全带识别能力。

附图说明

图1为实施例中执行基于车载摄像头的安全带使用识别方法的系统的结构示意图；

图2为实施例中基于车载摄像头的安全带使用识别方法的步骤图；

图3为实施例中基于车载摄像头的安全带使用识别方法的流程图；

图4为实施例中执行对比限制自适应直方图均衡化前的效果示意图；

图5为实施例中执行对比限制自适应直方图均衡化后的效果示意图；

图6为实施例中确定人员图像对应的分类信息这一步骤的原理示意图；

图7(a)、图7(b)和图7(c)为实施例中逆对角线方向安全带模板图像的示意图；

图8(a)、图8(b)和图8(c)为实施例中正对角线方向安全带模板图像的示意图；

图9为实施例中对人员图像进行无填充形式的滑动窗口采样这一步骤的原理示意图；

图10为实施例中使用边缘算子分别对各采样窗口进行边缘特征提取这一步骤的原理示意图；

图11为实施例中对各相似度均值进行序列化，获得特征序列这一步骤的原理示意图；

图12、图13和图14为实施例中对人员图像信息序列进行可视化的效果示意图；

图15为实施例中计算机装置的结构示意图；

图16为实施例中计算机可读存储介质的工作原理示意图。

具体实施方式

对于使用安装在安全带上的传感器来检测安全带是否处于工作状态的技术缺点，由于车上人员实际使用安全带的情况下，安全带会附着在车上人员的肩部、胸部和腹部等位置，而车上人员未实际使用安全带的情况下，安全带则不会出现在上述位置，因此可以通过拍摄车上人员的图像，通过计算机视觉对图像进行识别，判断图像中是否存在安全带，从而判断安全带是否被实际使用。由于对图像的识别过程与安装在安全带上的传感器检测无关，因此可以避免传感器检测被欺骗而造成的检测盲区，从而获得更高的检测准确率。

在使用计算机视觉对图像进行识别的方式，识别安全带是否被使用时，实际上相当于以安全带作为图像中的检测目标，也就是检测图像中是否存在安全带这一检测目标，如果在图像中检测到安全带，就确认安全带已被使用，反之，如果未在图像中检测到安全带，就确认安全带未被使用。因此，可以参照从图像中对其他类型的检测目标(例如人脸、车牌等)的检测过程，采用安全带目标检测、安全带目标分割、人体检测与安全带检测结合、基于直线检测与模板匹配等流程进行检测。但是，在图像中检测安全带的过程具有特殊性，例如：安全带被使用时附着在车上人员的身上，安全带的图像通常受到车上人员的衣着、体态等因素影响；车上的驾驶员位置、前排乘员位置、后排乘员位置等不同位置上的安全带通常存在形态上的区别。上述在图像中检测安全带的过程的特殊性质，是对其他类型的检测目标的检测过程所不具备的，因此，如果直接将对其他类型的检测目标的检测过程使用在对安全带的检测中，容易面临实时性差、步骤冗余程度高、准确率低等问题。

基于上述原理，设计出一种基于车载摄像头的安全带使用识别方法。

本实施例中，基于车载摄像头的安全带使用识别方法可以由图1所示的系统执行。参照图1，该系统包括人员检测子系统和安全带识别子系统两部分。其中，人员检测子系统包括服务参数解析模块、人员检测模块和人员分割模块等模块，安全带识别子系统包括模板预处理模块、特征提取模块和安全带识别分类模块等模块。具体地，这些模块可以是具有相应功能的硬件部件或者软件程序，或者硬件部件与其运行的软件程序组成的整体。上述各模块是其各自所在设备中的功能模块，可以通过专设的硬件、软件或者硬件和软件的结合实现，也可以通过对设备中的已有通用部件，通过软件和/或硬件上的配置实现。

例如，可以由车载设备来运行人员检测子系统和安全带识别子系统，也可以由云端服务器来运行人员检测子系统和安全带识别子系统，云端服务器接收汽车端上传的数据进行处理，并将处理结果返回至汽车端。

本实施例中，可以由人员检测子系统和安全带识别子系统执行基于车载摄像头的安全带使用识别方法中的各步骤。本实施例中，图1中的各设备的各模块所执行的功能如表1所示。

表1

本实施例中，参照图2，基于车载摄像头的安全带使用识别方法包括以下步骤：

S1.获取人员图像；

S2.获取人员图像的位置类型信息；

S3.根据位置类型信息，获取相应对角形式的边缘算子以及若干个模板特征；

S4.使用边缘算子对人员图像进行边缘特征提取，获得待识别边缘特征；

S5.根据待识别边缘特征与模板特征，识别安全带使用状态。

步骤S1-S5的流程如图3所示。

步骤S1-S5的原理在于：人员图像的位置类型信息能够表示人员图像中的人员在车内的乘坐位置，其中包含着安全带(如存在)的延伸方向等先验信息，根据这样的先验信息选择具有相应对角形式的边缘算子以及模板特征，来对人员图像进行特征提取和安全带使用状态识别，能够有效识别出人员图像中是否存在安全带，从而识别出安全带使用状态，在此过程中避免了对人员图像中的车上人员身份进行识别和区分等冗余过程，同时由于利用了先验信息，可以降低人员图像的背景(例如车上人员的衣着以及体态)等因素对安全带识别带来的干扰，从而减少了流程的冗余以及对固定场景的依赖，实现了高效率、高适用、高可靠的安全带识别能力。

在执行步骤S1之前，可以先调用服务参数解析模块获取服务参数并进行解析。具体地，服务参数解析模块通过Flask框架提供web服务，生成服务参数，或者从服务器或者手机等终端接收服务参数，其中，服务参数包括人员检测阈值、安全带分类阈值、人员类别标识以及服务路由等参数。服务参数解析模块使用服务参数，对人员检测子系统和安全带识别子系统中的各模块进行初始化配置。

本实施例中，在执行步骤S1，也就是获取人员图像这一步骤时，具体可以执行以下步骤：

S101.控制车载摄像头拍摄得到车载图像；

S102.对车载图像进行人员识别；

S103.根据人员识别结果，从车载图像中裁剪出若干张人员图像；

S104.使用对比限制自适应直方图均衡化方法，对各人员图像进行图像增强。

步骤S101-S102可以由人员检测子系统中的人员检测模块来执行。具体地，可以使用车载摄像头作为人员检测模块，车载摄像头可以安装在车内后视镜或者前挡风玻璃等位置，车载摄像头的拍摄视野为车内的全部乘员乘坐空间。步骤S101中，以包括前、中、后三排乘员座位的7座客车为例，车载摄像头每次进行拍摄，都能将驾驶员座位、前排乘员座位、中排乘员座位和后排乘员座位及其上面所乘坐的驾驶员/乘员，拍摄在同一张图像中，从而获得车载图像img。

步骤S102中，人员检测模块运行YoloV5目标检测算法对车载图像img进行处理，识别出车载图像img中的单个人员，从而区分出车载图像img中的驾驶员、前排乘员、中排乘员与后排乘员等。YoloV5算法同时兼顾良好的检测性能与分类性能，且能够自适应的约束检测目标的大小区间达到加速检测、降低误检的效果，在同类型检测算法中也更加轻量与高效。

具体地，步骤S102中，人员检测模块使用服务参数解析模块发送过来的人员检测阈值，对YoloV5目标检测模型进行初始化，在初始化完成后，将车载图像img输入至YoloV5目标检测模型中，YoloV5目标检测模型识别出车载图像img中的各个单个人员并标记出来。

步骤S102中，YoloV5目标检测模型的输出数据可以表示为人员定位分类结果序列person_detec:[{pos₁,cls₁},{pos₂,cls₂},...,{pos_n,cls_n}]的形式，其中，pos_i和cls_i分别表示YoloV5目标检测模型从车载图像img中识别出的第i个车上人员对应的定位框和定位分类结果，该车上人员可能是驾驶员，也可能是乘员。YoloV5目标检测模型从车载图像img中一共检测出n个车上人员。

定位分类结果序列person_detec中，pos_i的数据格式为{x_i,y_i,w_i,h_i}，这组数据表示第i个车上人员对应的定位框，其中x_i和y_i表示第i个定位框的坐标，w_i和h_i分别表示第i个定位框的宽和高，该定位框能够在车载图像img中确定一个区域，第i个车上人员位于车载图像img的这个区域中。

定位分类结果序列person_detec中，cls_i是一个浮点型数据，表示第i个车上人员对应的位置类型信息。具体地，第i个车上人员对应的位置类型信息表示第i个车上人员所属的分类，而且所属的分类是根据第i个车上人员在车载图像img中的位置划分得到的。

步骤S103-S104可以由人员检测子系统中的人员分割模块来执行。

步骤S103中，人员分割模块可以根据人员定位分类结果序列person_detec中的各个定位框pos₁、pos₂……pos_i……pos_n，从车载图像img中裁剪出相应的区域，每张裁剪出的区域都成为一张人员图像。根据YoloV5目标检测模型的原理，由于每个定位框都确定车载图像img中的一名车上人员，因此通过执行步骤S103，每张人员图像中都包含且只包含一名车上人员。

步骤S103中，将人员分割模块使用定位框pos_i从车载图像img中裁剪出的人员图像记为person_img_i，那么将获得person_img₁、person_img₂……person_img_i……person_img_n等n张人员图像，从而获得人员图像信息序列Person:[{person_img₁,pos₁,cls₁},{person_img₂,pos₂,cls₂},...,{person_img_n,pos_n,cls_n}]，作为人员检测子系统处理结果。

步骤S104中，人员分割模块使用对比限制自适应直方图均衡化(Contrastlimited Adaptive Histogtam Equalization，CLAHE)方法，对person_img₁、person_img₂……person_img_n等人员图像进行图像增强。CLAHE的效果如图4和图5所示，其中，图4为一张经过CLAHE方法处理之前的人员图像，其中的安全带的边缘特征不明显；对这张人员图像使用CLAHE方法进行图像增强处理，所得到的结果如图5所示；根据图4和图5的比较可知，通过使用CLAHE方法对人员图像进行处理，能够改善光照明暗带来的图像中边缘信息差异较小的问题，增强图像中边缘类信息的对比度，使安全带的边缘特征更明显，有利于执行安全带使用识别方法对安全带进行识别。

本实施例中，通过执行步骤S101-S104，可以实现通过一次拍摄得到包含多个车上人员的车载图像，再通过裁剪获得每个车上人员各自的人员图像，能够减少拍摄次数，提高对人员图像的采集效率。

本实施例中，在执行步骤S1的基础上，执行步骤S2，也就是获取人员图像的位置类型信息这一步骤时，具体可以执行以下步骤：

S201.检测人员图像在车载图像中的位置，获得人员图像对应的定位信息；

S202.确定车载图像中的驾驶员位置；

S203.根据定位信息与驾驶员位置之间的相对位置关系，确定人员图像对应的分类信息；

S204.以定位信息与分类信息，作为位置类型信息。

根据执行步骤S103所得到的人员图像信息序列Person:[{person_img₁,pos₁,cls₁},{person_img₂,pos₂,cls₂},...,{person_img_n,pos_n,cls_n}]，第i个车上人员对应的人员图像person_img_i对应着定位框pos_i，能够确定人员图像person_img_i在车载图像img中的位置，因此步骤S201中，可以将定位框pos_i作为人员图像person_img_i对应的定位信息。

步骤S202中，参照图6，可以将车载图像img中最接近右下方的人员图像的位置，确定为驾驶员位置，并以驾驶员位置为参考，确定从车载图像img裁剪出的各人员图像的分类信息。例如，驾驶员位置所在的车载图像img的一侧为左侧，另一侧为右侧；驾驶员位置所在的车载图像img的一端为前排，到车载图像img的另一端依次划分为中排和后排，这样，各张人员图像便可以分别对应驾驶员位置、前排右侧乘员位置、中排左侧乘员位置、中排右侧乘员位置、后排左侧乘员位置以及后排右侧乘员位置等分类信息，其中第i个人员图像person_img_i对应的分类信息通过人员图像信息序列Person中的cls_i表示。

通过执行步骤S201-S203，实际上相当于将人员图像信息序列Person:[{person_img₁,pos₁,cls₁},{person_img₂,pos₂,cls₂},...,{person_img_n,pos_n,cls_n}]中的{pos₁,cls₁},{pos₂,cls₂},...,{pos_n,cls_n}等信息，分别作为用来描述各人员图像的位置类型信息。

接下来执行的步骤，实际上是要识别各人员图像person_img中是否存在安全带。本实施例中，各人员图像person_img分别位于车载图像img中的各个位置，拍摄自车内的不同座位，由于目前的汽车中，不同位置的座位的安全带被使用时，安全带的延伸方向存在区别，例如，如果驾驶员座位处的安全带被正确使用，那么对应驾驶员位置处的人员图像person_img中的安全带，其延伸方向是从人员图像person_img中的左下角延伸到右上角，本实施例中定义这样的延伸方向为逆对角线方向；如果前排右侧乘员座位处的安全带被正确使用，那么对应驾驶员位置处的人员图像person_img中的安全带，其延伸方向是从人员图像person_img中的左上角延伸到右下角，本实施例中定义这样的延伸方向为正对角线方向。

因此，在识别各人员图像person_img中是否存在安全带时，实际上各人员图像person_img包含了这样的先验信息：各人员图像person_img中的安全带(如存在)具有确定的延伸方向，并且可以根据人员图像person_img的定位信息，来确定人员图像person_img中的安全带(如存在)为逆对角线方向或者正对角线方向。

基于上述原理，本实施例中，在执行步骤S1-S2的基础上，执行步骤S3，也就是根据位置类型信息，获取相应对角形式的边缘算子以及若干个模板特征这一步骤时，具体可以执行以下步骤：

S301.当位置类型信息表示定位信息与驾驶员位置位于同一侧，获取逆对角边缘算子和若干个逆对角模板特征；

S302.当位置类型信息表示定位信息与驾驶员位置位于不同侧，获取正对角边缘算子和若干个正对角模板特征。

本实施例中，可以由安全带识别子系统中的模板预处理模块来执行步骤S301-S302。

在执行步骤S301-S302时，参照步骤S201-S204的原理，人员图像信息序列Person中的位置类型信息{pos₁,cls₁},{pos₂,cls₂},...,{pos_n,cls_n}可以表示各人员图像person_img在车载图像img中的位置，即与驾驶员位置之间的相对位置关系。例如，对于图6所示的从左舵车中获取到的车载图像img，位于中排左侧乘员位置和后排左侧乘员位置的人员图像与驾驶员位置位于同一侧，即都位于在车内向车头方向看过去的左侧，那么对于这部分人员图像person_img，则可以执行步骤S301，获取逆对角边缘算子作为边缘算子，获取若干个逆对角模板特征作为模板特征；而位于前排右侧乘员位置、中排右侧乘员位置和后排右侧乘员位置的人员图像与驾驶员位置位于不同侧，即前排右侧乘员位置、中排右侧乘员位置和后排右侧乘员位置的人员图像位于在车内向车头方向看过去的右侧，那么对于这部分人员图像person_img，则可以执行步骤S302，获取正对角边缘算子作为边缘算子，获取若干个正对角模板特征作为模板特征。

本实施例中，执行步骤S301-S302的原理在于：目前使用的大部分汽车中，驾驶员座位以及与驾驶员座位同侧的座位所设置的安全带，在被使用时都具有相同的延伸方向，即本实施例中的逆对角线方向，而与驾驶员座位不同侧的座位所设置的安全带，在被使用时都具有相同的延伸方向，即本实施例中的正对角线方向；因此，可以通过位置类型信息，确定人员图像person_img中包含的安全带(如存在)的延伸方向，从而获取与该延伸方向相对应的对角形式的边缘算子以及模板特征，当使用这样的边缘算子以及模板特征对人员图像person_img进行特征提取，能够利用人员图像person_img中包含的先验信息，从而有利于提高对人员图像person_img中的安全带的识别正确率。

本实施例中，在执行步骤S303，也就是获取逆对角边缘算子和若干个逆对角模板特征这一步骤时，具体可以执行以下步骤：

S30101.设定逆对角边缘算子；

S30102.获取若干个逆对角线方向安全带模板图像；

S30103.使用逆对角边缘算子分别对各逆对角线方向安全带模板图像进行边缘特征提取，获得各逆对角线方向安全带模板图像各自对应的逆对角模板特征。

步骤S30101中，所设定的逆对角边缘算子是一个方阵，而且满足这样的性质：对角线元素为零，逆对角边缘算子的左上角元素与右下角元素互为相反数。例如，本实施例中，可以设定如下形式的3×3的方阵n_prewitt作为逆对角边缘算子：

其中，逆对角边缘算子n_prewitt的对角线元素均为0，而且左上角元素均为-1，右下角元素均为1。逆对角边缘算子n_prewitt中的非对角线元素也可以是其他值，而取值为-1或1可以保持进行边缘特征提取的尺寸不变。

步骤S30102中，共获取ntemp_img₁、ntemp_img₂和ntemp_img₃等3个逆对角线方向安全带模板图像，其中ntemp_img₁如图7(a)所示、ntemp_img₂如图7(b)所示，ntemp_img₃如图7(c)所示。这些逆对角线方向安全带模板图像的内容均包含已系上安全带的人员，而且图像中安全带的方向为逆对角线方向，即从逆对角线方向安全带模板图像中的左下角延伸到右上角的方向。图7(a)-图7(c)所示的各逆对角线方向安全带模板图像可以具有不同的背景，例如人员所穿的衣服有不同的颜色或者图案等。

步骤S30103中，可以先将ntemp_img₁、ntemp_img₂和ntemp_img₃等各个逆对角线方向安全带模板图像缩放至统一的尺寸(例如宽度为48像素、高度为48像素)，然后使用逆对角边缘算子n_prewitt分别对各逆对角线方向安全带模板图像ntemp_img进行类滑动窗口形式的边缘特征提取，获得各逆对角线方向安全带模板图像ntemp_img各自对应的逆对角模板特征。

例如，使用逆对角边缘算子n_prewitt对逆对角线方向安全带模板图像ntemp_img₁进行类滑动窗口形式的边缘特征提取，获得逆对角模板特征ntemp_feature₁；使用逆对角边缘算子n_prewitt对逆对角线方向安全带模板图像ntemp_img₂进行类滑动窗口形式的边缘特征提取，获得逆对角模板特征ntemp_feature₂；使用逆对角边缘算子n_prewitt对逆对角线方向安全带模板图像ntemp_img₃进行类滑动窗口形式的边缘特征提取，获得逆对角模板特征ntemp_feature₃。

本实施例中，在执行步骤S302，也就是获取正对角边缘算子和若干个正对角模板特征这一步骤时，具体可以执行以下步骤：

S30201.设定正对角边缘算子；

S30202.获取若干个正对角线方向安全带模板图像；正对角线方向安全带模板图像的内容包含已系上安全带的人员，且安全带的方向为正对角线方向；

S30203.使用正对角边缘算子分别对各正对角线方向安全带模板图像进行边缘特征提取，获得各正对角线方向安全带模板图像各自对应的正对角模板特征。

步骤S30201中，所设定的正对角边缘算子是一个方阵，而且满足这样的性质：对角线元素为零，正对角边缘算子的左下角元素与右上角元素互为相反数。具体地，正对角边缘算子的左下角元素可以与逆对角边缘算子n_prewitt的左上角元素相同，正对角边缘算子的右上角元素可以与逆对角边缘算子n_prewitt的右下角元素相同。

例如，本实施例中，可以设定如下形式的3×3的方阵p_prewitt作为正对角边缘算子：

其中，正对角边缘算子p_prewitt的对角线元素均为0，而且左上角元素均为-1，右上角元素均为1。正对角边缘算子p_prewitt中的非对角线元素也可以是其他值，而取值为-1或1可以保持进行边缘特征提取的尺寸不变，并与逆对角边缘算子n_prewitt保持一致。

步骤S30202中，共获取ptemp_img₁、ptemp_img₂和ptemp_img₃等3个正对角线方向安全带模板图像，其中ptemp_img₁如图8(a)所示、ptemp_img₂如图8(b)所示，ptemp_img₃如图8(c)所示。这些正对角线方向安全带模板图像的内容均包含已系上安全带的人员，而且图像中安全带的方向为正对角线方向，即从正对角线方向安全带模板图像中的左上角延伸到右下角的方向。图8(a)-图8(c)所示的各正对角线方向安全带模板图像可以具有不同的背景，例如人员所穿的衣服有不同的颜色或者图案等。

步骤S30203中，可以先将ptemp_img₁、ptemp_img₂和ptemp_img₃等各个正对角线方向安全带模板图像缩放至统一的尺寸(例如宽度为48像素、高度为48像素)，然后使用正对角边缘算子p_prewitt分别对各正对角线方向安全带模板图像ptemp_img进行类滑动窗口形式的边缘特征提取，获得各正对角线方向安全带模板图像ptemp_img各自对应的逆对角模板特征。

例如，使用正对角边缘算子p_prewitt对正对角线方向安全带模板图像ptemp_img₁进行类滑动窗口形式的边缘特征提取，获得正对角模板特征ptemp_feature₁；使用正对角边缘算子p_prewitt对正对角线方向安全带模板图像ptemp_img₂进行类滑动窗口形式的边缘特征提取，获得正对角模板特征ptemp_feature₂；使用正对角边缘算子p_prewitt对正对角线方向安全带模板图像ptemp_img₃进行类滑动窗口形式的边缘特征提取，获得正对角模板特征ptemp_feature₃。

本实施例中，可以将逆对角边缘算子n_prewitt和正对角边缘算子p_prewitt统称为边缘算子prewitt，将逆对角模板特征ntemp_feature和正对角模板特征ptemp_feature统称为模板特征T_feature。

本实施例中，在执行步骤S4，也就是使用边缘算子对人员图像进行边缘特征提取，获得待识别边缘特征这一步骤时，具体可以执行以下步骤：

S401.对人员图像进行无填充形式的滑动窗口采样，获得多个采样窗口；

S402.使用边缘算子分别对各采样窗口进行边缘特征提取，获得各采样窗口各自对应的待识别边缘特征。

本实施例中，可以由安全带识别子系统中的特征提取模块来执行步骤S401-S402。

本实施例中，对于任一个人员图像，都分别执行步骤S401-S402，以其中一个人员图像person_img_i为例进行说明。

步骤S401的原理如图9所示。参照图9，在执行步骤S401时，首先，将人员图像person_img_i缩放至统一大小，例如缩放后的宽度为128像素，高度为184像素；然后设置图9中的虚线方框所示的滑动窗口，具体地，滑动窗口的大小可以与逆对角线方向安全带模板图像或者正对角线方向安全带模板图像相同，即宽度为48像素、高度为48像素；滑动窗口的起始位置可以根据人员图像person_img_i对应的位置类型信息{pos_i,cls_i}来确定，例如如果人员图像person_img_i的位置类型信息为驾驶员位置，则滑动窗口的起始位置可以是人员图像person_img_i中的右下角；如果人员图像person_img_i的位置类型信息为前排右侧乘员位置，则滑动窗口的起始位置可以是人员图像person_img_i中的左下角；如果人员图像person_img_i的位置类型信息为后排左侧乘员位置，则滑动窗口的起始位置可以是人员图像person_img_i中的右上角；设置滑动窗口的滑动步长为4像素，以无填充形式对人员图像person_img_i进行采样，从而采集得到box₁、box₂……box_m等m个采样窗口。本实施例中，m＝21×25＝525。

步骤S402的原理如图10所示。参照图10，以人员图像person_img_i对应逆对角边缘算子n_prewitt和逆对角模板特征ntemp_feature为例，使用逆对角边缘算子n_prewitt分别对从人员图像person_img_i采样得到的各采样窗口box₁、box₂……box_m进行边缘特征提取，获得各采样窗口各自对应的待识别边缘特征。其中，从采样窗口box₁提取得到的待识别边缘特征为b_feature₁，从采样窗口box₂提取得到的待识别边缘特征为b_feature₂……从采样窗口box_m提取得到的待识别边缘特征为b_feature_m。

本实施例中，在执行步骤S5，也就是根据待识别边缘特征与模板特征，识别安全带使用状态这一步骤时，具体可以执行以下步骤：

S501.对于任一待识别边缘特征，分别获取待识别边缘特征与各模板特征之间的相似度，获取待识别边缘特征对应全部相似度的相似度均值；

S502.根据对应待识别边缘特征的提取顺序，对各相似度均值进行序列化，获得特征序列；

S503.根据特征序列进行分类，获得分类结果；

S504.根据分类结果，确定安全带使用状态为已使用安全带或者未使用安全带。

本实施例中，可以由安全带识别子系统中的安全带识别分类模块来执行步骤S501-S504。

步骤S501-S502的原理如图11所示。

在执行步骤S501时，参照图11，对于从人员图像person_img_i中提取得到的待识别边缘特征b_feature₁、b_feature₂……b_feature_m，分别计算与各模板特征之间的相似度。本实施例中，由于待识别边缘特征和模板特征都可以表示为向量形式，所以可以使用余弦相似度算法，计算待识别边缘特征与模板特征之间的相似度。本实施例中，余弦相似度算法所使用的公式为

上述公式中，cos_smi(x,y)表示余弦相似度，x表示参与计算的待识别边缘特征中的分量，y表示参与计算的模板特征中的分量，k为特征向量长度，本实施例中可以根据滑动窗口的大小来设置k的大小，即设置k的大小为48×48＝2304。

例如，参照图11，对于待识别边缘特征b_feature₁，计算其与逆对角模板特征ntemp_feature₁之间的相似度为ntemp_feature₁₁，计算其与逆对角模板特征ntemp_feature₂之间的相似度为ntemp_feature₁₂，计算其与逆对角模板特征ntemp_feature₃之间的相似度为ntemp_feature₁₃，其对应的相似度均值为s₁＝(ntemp_feature₁₁+ntemp_feature₁₂+ntemp_feature₁₃)/3；对于待识别边缘特征b_feature₂，计算其与逆对角模板特征ntemp_feature₁之间的相似度为ntemp_feature₂₁，计算其与逆对角模板特征ntemp_feature₂之间的相似度为ntemp_feature₂₂，计算其与逆对角模板特征ntemp_feature₃之间的相似度为ntemp_feature₂₃，其对应的相似度均值为s₂＝(ntemp_feature₂₁+ntemp_feature₂₂+ntemp_feature₂₃)/3……对于待识别边缘特征b_feature_m，计算其与逆对角模板特征ntemp_feature₁之间的相似度为ntemp_feature_m1，计算其与逆对角模板特征ntemp_feature₂之间的相似度为ntemp_feature_m2，计算其与逆对角模板特征ntemp_feature₃之间的相似度为ntemp_feature_m3，其对应的相似度均值为s_m＝(ntemp_feature_m1+ntemp_feature_m2+ntemp_feature_m3)/3。

在执行完步骤S501之后，对于b_feature₁、b_feature₂……b_feature_m等每个待识别边缘特征，相应的相似度均值s₁、s₂……s_m，执行步骤S502，将这些相似度均值按照对应的待识别边缘特征b_feature₁、b_feature₂……b_feature_m的顺序，排列成特征序列S:{s₁,s₂……s_m}。

由于步骤S401-S402以及S501-S502都是以人员图像person_img_i为例进行说明的，因此上述执行步骤S502所得到的特征序列S:{s₁,s₂……s_m}，是人员图像person_img_i对应的特征序列，对不同的人员图像执行步骤S401-S402以及S501-S502，都可以获得相应的一个特征序列。

在执行步骤S503时，安全带识别分类模块可以运行支持向量机SVM，将特征序列S:{s₁,s₂……s_m}输入至支持向量机SVM进行处理，获取支持向量机SVM的输出结果，并将输出结果与安全带分类阈值进行对比，根据输出结果与安全带分类阈值之间的大小关系，对特征序列S:{s₁,s₂……s_m}进行二分类，获得分类结果。对特征序列S:{s₁,s₂……s_m}的二分类结果对应着人员图像person_img_i中是否存在安全带，例如，如果支持向量机SVM的输出结果不大于安全带分类阈值，那么可以判断人员图像person_img_i中存在安全带，从而在步骤S504中判断人员图像person_img_i中的车上人员已使用安全带；如果支持向量机SVM的输出结果大于安全带分类阈值，那么可以判断人员图像person_img_i中不存在安全带，从而在步骤S504中判断人员图像person_img_i中的车上人员未使用安全带。

相较于其他分类器算法，支持向量机SVM简洁并具有良好的稳定性，在维度较低的数据复杂度下过拟合风险小，且在较高维的二分类问题中性能良好。

本实施例中，安全带识别分类模块在执行完步骤S501-S504之后，可以将对安全带使用状态的识别结果打包成为接口报文信息，并通过服务路由，利用flask服务返回接口报文信息，从而实现对安全带使用状态的识别结果的汇报。

综合以上各实施例可知，基于车载摄像头的安全带使用识别方法通过人员检测流程检测到车载图像中的所有人体，并分类出需要进行安全带识别到前排乘客、驾驶员等具有不同位置类型信息的人员图像，安全带识别子系统中通过滑动窗口形式进行人员图像采样，引入方向算子与利用图像中既定的方向性因素，设计适用于安全带识别场景的边缘检测与模板相似度结合的特征提取方法，并通过稳定度高的支持向量机分类器进行是否佩戴安全带的判别，能够有效地实现司机乘客的人体检测、未系安全带行为的识别，从而快速适配更多的安全带识别需求场景。

本实施例中，由于人员图像person_img_i在人员图像信息序列Person:[{person_img₁,pos₁,cls₁},{person_img₂,pos₂,cls₂},...,{person_img_n,pos_n,cls_n}]中对应着位置类型信息{pos_i,cls_i}，根据位置类型信息{pos_i,cls_i}可以确定图6中相应的乘员位置的安全带已被使用或者未被使用。因此，可以对人员图像信息序列Person:[{person_img₁,pos₁,cls₁},{person_img₂,pos₂,cls₂},...,{person_img_n,pos_n,cls_n}]进行调整，向其中的分类信息cls₁、cls₂……cls_n分别添加人员图像person_img₁、person_img₂……person_img_n的是否使用安全带的判断结果。

在调整人员图像信息序列Person之后，可以对人员图像信息序列Person进行可视化。具体地，可以在车载图像img中，在相应位置将人员图像信息序列Person中的各定位框pos₁、pos₂……pos_n显示出来，并根据相应的分类信息cls₁、cls₂……cls_n对各定位框进行标记，从而显示出每个定位框所表示的人员图像对应的是否使用安全带的判断结果。

本实施例中，对人员图像信息序列Person进行可视化的效果如图12、图13和图14所示。图12中，对左侧的人员图像的识别结果为未使用安全带，则将相应的定位框显示出来，并标记为“other”；图13中，对左侧的人员图像的识别结果为未使用安全带，则将相应的定位框显示出来，并标记为“other”，对右侧的人员图像的识别结果为已使用安全带，则将相应的定位框显示出来，并标记为“havesafe”；图14中，对右侧的人员图像的识别结果为已使用安全带，则将相应的定位框显示出来，并标记为“havesafe”。

通过对安全带使用状态的识别结果进行可视化，能够提醒车上人员或者交通管理人员安全带的使用情况，从而督促车上人员及时正确使用安全带，或者引导交通管理人员进行相关交通管理工作，有利于保障交通安全。

本实施例中，通过计算机编程，得到用于执行图2中的各步骤的计算机程序，并将这样的计算机程序存储到图16所示的计算机可读存储介质中。计算机可读存储介质中存储的计算机程序可以被处理器读取出来，并通过编译等操作，得到用于执行图4中的各步骤的指令，处理器执行这些指令，可以执行图2中的各步骤S1-S5，即执行基于车载摄像头的安全带使用识别方法。

由于图15所示的计算机装置和图16所示的计算机可读存储介质都能够使得处理器执行基于车载摄像头的安全带使用识别方法，因此图15所示的计算机装置和图16所示的计算机可读存储介质都能够实现与实施例中的一种基于车载摄像头的安全带使用识别方法相同的技术效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于车载摄像头的安全带使用识别方法，其特征在于，所述基于车载摄像头的安全带使用识别方法包括：

获取人员图像；所述人员图像来自车载摄像头拍摄，所述人员图像的内容包含车上人员；

获取所述人员图像的位置类型信息；所述位置类型信息用于表示所述人员图像对应的车上人员的位置类型；

根据所述位置类型信息，获取相应对角形式的边缘算子以及若干个模板特征；

使用所述边缘算子对所述人员图像进行边缘特征提取，获得待识别边缘特征；

根据所述待识别边缘特征与所述模板特征，识别安全带使用状态。

2.根据权利要求1所述的基于车载摄像头的安全带使用识别方法，其特征在于，所述获取人员图像，包括：

控制车载摄像头拍摄得到车载图像；

对所述车载图像进行人员识别；

根据人员识别结果，从所述车载图像中裁剪出若干张所述人员图像；每张所述人员图像包含一名车上人员；

使用对比限制自适应直方图均衡化方法，对各所述人员图像进行图像增强。

3.根据权利要求2所述的基于车载摄像头的安全带使用识别方法，其特征在于，所述获取所述人员图像的位置类型信息，包括：

检测所述人员图像在所述车载图像中的位置，获得所述人员图像对应的定位信息；

确定所述车载图像中的驾驶员位置；

根据所述定位信息与所述驾驶员位置之间的相对位置关系，确定所述人员图像对应的分类信息；

以所述定位信息与所述分类信息，作为所述位置类型信息。

4.根据权利要求3所述的基于车载摄像头的安全带使用识别方法，其特征在于，所述根据所述位置类型信息，获取相应对角形式的边缘算子以及若干个模板特征，包括：

当所述位置类型信息表示所述定位信息与所述驾驶员位置位于同一侧，获取逆对角边缘算子和若干个逆对角模板特征；

当所述位置类型信息表示所述定位信息与所述驾驶员位置位于不同侧，获取正对角边缘算子和若干个正对角模板特征。

5.根据权利要求4所述的基于车载摄像头的安全带使用识别方法，其特征在于：

所述获取逆对角边缘算子和若干个逆对角模板特征，包括：

设定所述逆对角边缘算子；所述逆对角边缘算子为方阵，所述逆对角边缘算子的对角线元素为零，所述逆对角边缘算子的左上角元素与右下角元素互为相反数；

获取若干个逆对角线方向安全带模板图像；所述逆对角线方向安全带模板图像的内容包含已系上安全带的人员，且安全带的方向为逆对角线方向；

使用所述逆对角边缘算子分别对各所述逆对角线方向安全带模板图像进行边缘特征提取，获得各所述逆对角线方向安全带模板图像各自对应的逆对角模板特征；

所述获取正对角边缘算子和若干个正对角模板特征，包括：

设定所述正对角边缘算子；所述正对角边缘算子为方阵，所述正对角边缘算子的对角线元素为零，所述正对角边缘算子的左下角元素与右上角元素互为相反数；

获取若干个正对角线方向安全带模板图像；所述正对角线方向安全带模板图像的内容包含已系上安全带的人员，且安全带的方向为正对角线方向；

使用所述正对角边缘算子分别对各所述正对角线方向安全带模板图像进行边缘特征提取，获得各所述正对角线方向安全带模板图像各自对应的正对角模板特征。

6.根据权利要求1-5任一项所述的基于车载摄像头的安全带使用识别方法，其特征在于，所述使用所述边缘算子对所述人员图像进行边缘特征提取，获得待识别边缘特征，包括：

对所述人员图像进行无填充形式的滑动窗口采样，获得多个采样窗口；

使用所述边缘算子分别对各所述采样窗口进行边缘特征提取，获得各所述采样窗口各自对应的待识别边缘特征。

7.根据权利要求6所述的基于车载摄像头的安全带使用识别方法，其特征在于，根据所述待识别边缘特征与所述模板特征，识别安全带使用状态，包括：

对于任一所述待识别边缘特征，分别获取所述待识别边缘特征与各所述模板特征之间的相似度，获取所述待识别边缘特征对应全部所述相似度的相似度均值；

根据对应所述待识别边缘特征的提取顺序，对各所述相似度均值进行序列化，获得特征序列；

根据所述特征序列进行分类，获得分类结果；

根据所述分类结果，确定所述安全带使用状态为已使用安全带或者未使用安全带。

8.根据权利要求7所述的基于车载摄像头的安全带使用识别方法，其特征在于，所述根据所述特征序列进行分类，获得分类结果，包括：

将所述特征序列输入支持向量机；

获取所述支持向量机输出的所述分类结果。

9.一种计算机装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-8任一项所述的基于车载摄像头的安全带使用识别方法。

10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行权利要求1-8任一项所述的基于车载摄像头的安全带使用识别方法。