CN109624918B - 一种安全带未系提醒系统及方法 - Google Patents

Abstract

本发明公开了一种安全带未系提醒系统及方法，包括车身控制模块、报警提示模块、图像采集模块和图像识别判断模块，图像采集模块包括摄像头和相互连接的光线感应器、照明控制器、辅助照明器，摄像头与图像识别判断模块连接，图像识别判断模块与车身控制模块连接，车身控制模块与报警提示模块连接，摄像头将采集的车内人员座位区图像发送给图像识别判断模块，图像识别判断模块进行识别判断，并将安全带识别结果发送给车身控制模块，车身控制模块结合车速信息，判断是否向报警提示模块发出安全带未系报警信号，报警提示模块在接收到安全带未系报警信号后，发出报警提示。本发明能在提升安全带未系识别性能的同时，降低成本。

Description

一种安全带未系提醒系统及方法

技术领域

本发明涉及人工智能(AI)及汽车安全保护技术领域，具体涉及一种安全带未系提醒系统及方法。

背景技术

近年来，随着AI技术的飞速发展，越来越多的汽车通过摄像头+AI技术为用户带来了许多具有高体验的功能，如某车型在车内安装一个摄像头可以监控驾驶员的疲劳状态、情绪状态，实时提醒并关怀驾驶员或乘客，让用户颇具青睐。

此外，安全带作为最有效的驾驶员及乘员(即车内人员)保护装置，在汽车保护装置中占据着重要地位。为保障驾驶员及乘员的安全，法规要求驾驶员及乘员在行车过程中必须佩戴安全带。当前安全带佩戴检测方法主要分为两类：第一类是基于传统压力传感器+电子锁扣的方法，该方法成本略高；第二类是基于图像处理的方法，该方法使用普通摄像头，基于图像的边缘、形状、纹理等特征判断驾驶员或乘客是否系安全带，虽然在一定程度上可替代传统的基于压力传感器+电子锁扣的方法，但是该方法对光线、衣服、车窗、方向盘的干扰较为敏感，适用性、鲁棒性较差，容易造成误判。

发明内容

本发明的目的是提供一种安全带未系提醒系统及方法，以在提升安全带未系识别性能的同时，降低成本。

本发明所述的安全带未系提醒系统，包括车身控制模块、报警提示模块、图像采集模块和图像识别判断模块；所述图像采集模块包括摄像头、光线感应器、照明控制器和辅助照明器，光线感应器与照明控制器连接，照明控制器与辅助照明器连接，光线感应器将检测的车内光线明暗程度信号发送给照明控制器，照明控制器根据车内光线明暗程度信号控制辅助照明器打开或关闭；所述摄像头与图像识别判断模块连接，图像识别判断模块与车身控制模块连接，车身控制模块与报警提示模块连接，摄像头将采集的车内人员座位区图像发送给图像识别判断模块，图像识别判断模块进行识别判断，并将车内人员是否系上安全带的信号发送给车身控制模块，车身控制模块结合车内人员是否系上安全带的信号与车速信息，判断是否向报警提示模块发出安全带未系报警信号，报警提示模块在接收到安全带未系报警信号后，发出报警提示。

本发明所述的安全带未系提醒方法，采用上述安全带未系提醒系统，该方法包括：

步骤一、照明控制器判断车内光线明暗程度是否小于设定阈值，如果是则执行步骤二，否则执行步骤三；

步骤二、照明控制器控制辅助照明器打开，然后执行步骤三；辅助照明器对摄像头起到辅助照明作用，进而保证成像效果，使得系统能够全天候且不受光线影响；

步骤三、摄像头采集车内人员座位区图像，并将该图像发送给图像识别判断模块，然后执行步骤四；

步骤四、图像识别判断模块对车内人员座位区图像进行人脸识别(即识别车内人员座位区是否有人)，若没有人脸，则返回执行步骤三，若有人脸，则返回人脸坐标信息，并进入步骤五；

步骤五、根据返回的人脸坐标信息，图像识别判断模块对车内人员座位区图像进行处理，得到分割图像，并将该分割图像送入预先存储的系安全带识别模型中，判断车内人员是否系上安全带，然后执行步骤六；

步骤六、图像识别判断模块将车内人员是否系上安全带的信号(即安全带识别结果)发送给车身控制模块，然后执行步骤七；

步骤七、车身控制模块结合车内人员是否系上安全带的信号与车速信息进行判断，如果车内人员未系上安全带且车速大于零，则向报警提示模块发出安全带未系报警信号，然后执行步骤八，否则结束；

步骤八、报警提示模块接收到安全带未系报警信号后，发出报警提示，提醒车内人员系好安全带，然后结束。

所述步骤五中，图像识别判断模块对车内人员座位区图像进行处理，得到分割图像的具体方式包括：

S1、根据返回的人脸坐标信息，确定人脸图像对角线的直线方程和安全带候选区域的左边线、右边线、上边线、下边线的方程；

S2、根据人脸图像对角线的直线方程，确定安全带区域上边缘的直线方程和安全带区域下边缘的直线方程；根据安全带候选区域的左边线、右边线、上边线、下边线的方程，确定安全带候选区域；

S3、在安全带候选区域内，将安全带区域上边缘以上的部分以及安全带区域下边缘以下的部分置为黑色背景；

S4、对经过S3处理后的图像进行自适应区域分割，得到多个分割区域；

S5、对所述的多个分割区域(即经过S4处理后的多个分割区域)进行计算，得到各个分割区域的安全带区域面积、矩形度、最小外接矩形方向；

S6、对所述的多个分割区域(即经过S4处理后的多个分割区域)进行面积阈值处理、矩形度阈值处理和最小外接矩形方向阈值处理，剔除面积在安全带区域面积范围外的分割区域，剔除矩形度在矩形度范围外的分割区域，剔除最小外接矩形方向在最小外接矩形方向范围外的分割区域，得到所述分割图像(即所述分割图像的面积在安全带区域面积范围内，矩形度在矩形度范围内，最小外接矩形方向在最小外接矩形方向范围内)。

所述步骤五中的系安全带识别模型通过如下方式获得：

步骤T1：车内人员安全带原始数据采集

采用摄像头采集车内人员座位区图像，分为系安全带和未系安全带两类图像，建立系安全带原始数据库DB1和未系安全带原始数据库DB2；其中，采集要求为：包含不同角度、不同体型人员、不同座椅位置(如前极限位置、中部位置、后极限位置)、不同行车场景(如隧道、树荫等)以及不同光线条件(如强光直射、阴天等)下的图像。

步骤T2：原始数据库预处理

T21、采用图像识别判断模块对系安全带原始数据库DB1中的图像进行人脸识别，得到人脸在原始图像中的左上角坐标(x_f1,y_f1)及右下角坐标(x_f2,y_f2)；

T22、根据人脸在原始图像中的左上角坐标和右下角坐标，求得人脸图像对角线的斜率k和偏置b，得到人脸图像对角线的直线方程为：

y＝kx+b,其中

T23、对建立的系安全带原始数据库DB1进行统计分析，取安全带候选区域的高度为h、宽度为w，且安全带候选区域左右相对于车内人员人脸垂直轴线对称，安全带候选区域上边缘起始于人脸图像水平轴线，得到安全带候选区域的左边线、右边线、上边线、下边线的方程分别为：

T24、统计系安全带原始数据库DB1内同一个人在不同座椅位置下以及不同体型的人在同一位置下的安全带区域上边缘的斜率，取能够容纳所有位置下的斜率，并计算该斜率与人脸图像对角线斜率的关系k'＝p×k，p为常数；统计系安全带原始数据库DB1内不

同位置及不同体型下的安全带区域上边缘与人脸图像对角线的距离，取能够容纳所有情况下的距离t，得到安全带区域上边缘的直线方程为：

F_f1＝p×kx+b+t

T25、统计系安全带原始数据库DB1内安全带区域的平均宽度r，得到安全带区域下边缘的直线方程为：

F_f2＝p×kx+b+t+r

T26、根据所述安全带候选区域的左边线、右边线、上边线、下边线的方程，得到每张图像的安全带候选区域，然后在每张图像的安全带候选区域内，将安全带区域上边缘以上的部分以及安全带区域下边缘以下的部分置为黑色背景；也即是在每张图像的安全带候选区域做如下操作：

if F_f1＝p×kx+b+t＞0，F_f1(x,y)＝0

if F_f2＝p×kx+b+t+r＜0，F_f2(x,y)＝0

T27、将系安全带原始数据库DB1经过T26处理后的安全带候选区域保存，形成系安全带数据库DB11，将未系安全带原始数据库DB2经过T26处理后的安全带候选区域保存，形成未系安全带数据库DB22。

步骤T3：数据库改进自适应区域分割

经过TS27处理后得到的安全带区域可能还含有非安全带图像(但安全带占据面积最大)，采用如下步骤能尽可能的保留安全带区域图像，并且尽可能的去除非安全带区域图像。

T31、对系安全带数据库DB11和未系安全带数据库DB22中的图像进行自适应区域分割，得到多个分割区域；

T32、对经过T31处理后的多个分割区域进行计算统计，得到各个分割区域的安全带区域面积范围为[A1,A2]、矩形度范围为[B1,B2]、最小外接矩形方向范围为[C1,C2]；

T33、对经过T31处理后的多个分割区域进行面积阈值处理、矩形度阈值处理和最小外接矩形方向阈值处理，剔除面积在安全带区域面积范围[A1,A2]外的分割区域，剔除矩形度在矩形度范围[B1,B2]外的分割区域，剔除最小外接矩形方向在最小外接矩形方向范围[C1,C2]外的分割区域，得到多个分割图像，形成系安全带最终数据库DB111和未系安全带最终数据库DB222。

步骤T4：模型训练与存储

采用图像识别判断模块训练系安全带最终数据库DB111和未系安全带最终数据库DB222，构建属于该车的系安全带识别模型，并将该系安全带识别模型存储于图像识别判断模块中。

本发明具有如下效果：

(1)本发明借助车身控制模块、报警提示模块、图像采集模块和图像识别判断模块完成安全带未系识别判断及提示报警，替代了传统压力传感器+电子锁扣的方式，降低了整车成本。

(2)相对于现有安全带未系识别方法，本发明通过对图像进行预处理和自适应区域分割，得到分割图像，并将该分割图像送入系安全带识别模型中，判断车内人员是否系上安全带，其对衣服、车窗、方向盘的干扰较不敏感，适用性更高、鲁棒性更好，从而提升了安全带未系识别性能。

(3)采用光线感应器、照明控制器和辅助照明器配合，实现对摄像头的辅助照明，进而保证了成像效果，使得系统能够全天候且不受光线影响，具备较好的适应性。

附图说明

图1为实施例中安全带未系提醒系统的原理框图。

图2为实施例中安全带区域提取原理图。

图3为实施例中获得系安全带识别模型的流程图。

图4为实施例中安全带未系提醒方法流程图。

具体实施方式

下面结合附图对本发明作详细说明。

如图1所示的安全带未系提醒系统，包括车身控制模块1、报警提示模块2、图像采集模块3和图像识别判断模块4，图像采集模块3包括摄像头31、光线感应器32、照明控制器33和辅助照明器34；光线感应器32通过硬线与照明控制器33连接，照明控制器33通过硬线与辅助照明器34连接，光线感应器32将检测的车内光线明暗程度信号发送给照明控制器33，照明控制器33根据车内光线明暗程度信号控制辅助照明器34打开或关闭；摄像头31通过硬线与图像识别判断模块4连接，图像识别判断模块4通过CAN总线与车身控制模块1连接，车身控制模块1通过CAN总线与报警提示模块2连接，摄像头31将采集的车内人员座位区图像(包含但不限于人脸图像、安全带图像)发送给图像识别判断模块4，图像识别判断模块4进行识别判断，并将车内人员是否系上安全带的信号(即安全带识别结果)通过CAN总线发送给车身控制模块1，车身控制模块1结合车内人员是否系上安全带的信号与车速信息(该车速信息由车身控制模块1从CAN总线上获取)，判断是否向报警提示模块2发出安全带未系报警信号，报警提示模块2在接收到安全带未系报警信号后，发出报警提示，提醒车内人员系好安全带。

如图2、图3所示，本实施例中进行车内人员是否系安全的识别，需要使用到系安全带模型，该系安全带模型通过如下方式获得：

步骤T1：车内人员安全带原始数据采集

采用摄像头31采集车内人员座位区图像，分为系安全带和未系安全带两类图像，建立系安全带原始数据库DB1和未系安全带原始数据库DB2；其中，采集要求为：包含不同角度、不同体型人员、不同座椅位置(如前极限位置、中部位置、后极限位置)、不同行车场景(如隧道、树荫等)以及不同光线条件(如强光直射、阴天等)下的图像。

步骤T2：原始数据库预处理

T21、采用图像识别判断模块4对系安全带原始数据库DB1中的图像进行人脸识别，得到人脸在原始图像中的左上角坐标(x_f1,y_f1)及右下角坐标(x_f2,y_f2)；

T22、根据人脸在原始图像中的左上角坐标和右下角坐标，求得人脸图像对角线的斜率k和偏置b，得到人脸图像对角线的直线方程为：

y＝kx+b,其中

T23、对建立的系安全带原始数据库DB1进行统计分析，取安全带候选区域的高度为h、宽度为w，且安全带候选区域左右相对于车内人员人脸垂直轴线对称，安全带候选区域上边缘起始于人脸图像水平轴线，得到安全带候选区域的左边线、右边线、上边线、下边线的方程分别为：

T24、统计系安全带原始数据库DB1内同一个人在不同座椅位置下以及不同体型的人在同一位置下的安全带区域上边缘的斜率，取能够容纳所有位置下的斜率，并计算该斜率与人脸图像对角线斜率的关系k'＝p×k，p为常数；统计系安全带原始数据库DB1内不同位置及不同体型下的安全带区域上边缘与人脸图像对角线的距离，取能够容纳所有情况下的距离t，得到安全带区域上边缘的直线方程为：

F_f1＝p×kx+b+t

T25、统计系安全带原始数据库DB1内安全带区域的平均宽度r，得到安全带区域下边缘的直线方程为：

F_f2＝p×kx+b+t+r

T26、根据所述安全带候选区域的左边线、右边线、上边线、下边线的方程，得到每张图像的安全带候选区域，然后在每张图像的安全带候选区域内，将安全带区域上边缘以上的部分以及安全带区域下边缘以下的部分置为黑色背景；也即是在每张图像的安全带候选区域做如下操作：

if F_f1＝p×kx+b+t＞0，F_f1(x,y)＝0

if F_f2＝p×kx+b+t+r＜0，F_f2(x,y)＝0

T27、将系安全带原始数据库DB1经过T26处理后的安全带候选区域保存，形成系安全带数据库DB11，将未系安全带原始数据库DB2经过T26处理后的安全带候选区域保存，形成未系安全带数据库DB22。

步骤T3：数据库改进自适应区域分割

经过TS27处理后得到的安全带区域可能还含有非安全带图像(但安全带占据面积最大)，采用如下步骤能尽可能的保留安全带区域图像，并且尽可能的去除非安全带区域图像。

T31、对系安全带数据库DB11和未系安全带数据库DB22中的图像进行自适应区域分割，得到多个分割区域；自适应区域分割是指根据事先规定的一种相似性准则，并根据此准则提取出若干特征相近的区域；其具体过程为：确定合适的阈值i和邻域(m,n)，然后从起始点j向其邻域(m,n)内搜索像素值，当被搜索到的像素值与j差值小于阈值i时，则可认为此点与j点属于同一个物体，不断循环，当找不到差值小于阈值i时，搜索停止，也即分割结束，经过上述过程后，图像被分割为多个区域(即得到多个分割区域)；

T32、对经过T31处理后的多个分割区域进行计算统计，得到各个分割区域的安全带区域面积范围为[A1,A2]、矩形度范围为[B1,B2]、最小外接矩形方向范围为[C1,C2]；

T33、对经过T31处理后的多个分割区域进行面积阈值处理、矩形度阈值处理和最小外接矩形方向阈值处理，剔除面积在安全带区域面积范围[A1,A2]外的分割区域，剔除矩形度在矩形度范围[B1,B2]外的分割区域，剔除最小外接矩形方向在最小外接矩形方向范围[C1,C2]外的分割区域，得到多个分割图像，形成系安全带最终数据库DB111和未系安全带最终数据库DB222。

步骤T4：模型训练与存储

采用图像识别判断模块4训练系安全带最终数据库DB111和未系安全带最终数据库DB222，构建属于该车的系安全带识别模型，并将该系安全带识别模型存储于图像识别判断模块4中。

该系安全带模型的获得过程只需要在开发过程中迭代执行即可。

如图2、图3、图4所示的安全带未系提醒方法，采用如图1所示的安全带未系提醒系统，包括：

步骤一、照明控制器33判断车内光线明暗程度是否小于设定阈值，如果是则执行步骤二，否则执行步骤三；

步骤二、照明控制器33控制辅助照明器34打开，辅助照明器34对摄像头31起到辅助照明作用，然后执行步骤三；

步骤三、摄像头31采集车内人员座位区图像，并将该图像发送给图像识别判断模块4，然后执行步骤四；

步骤四、图像识别判断模块4对车内人员座位区图像进行人脸识别(即识别车内人员座位区是否有人)，若没有人脸，则返回执行步骤三，若有人脸，则返回人脸坐标信息，并进入步骤五；

步骤五、根据返回的人脸坐标信息，图像识别判断模块4对车内人员座位区图像进行如S1至S6所示的处理，得到分割图像，并将该分割图像送入预先存储的系安全带识别模型中，判断车内人员是否系上安全带，然后执行步骤六；步骤五相当于系安全带识别模型推理过程；

步骤六、图像识别判断模块4将车内人员是否系上安全带的信号(即安全带识别结果)发送给车身控制模块1，然后执行步骤七；

步骤七、车身控制模块1结合车内人员是否系上安全带的信号与车速信息进行判断，如果车内人员未系上安全带且车速大于零，则向报警提示模块2发出安全带未系报警信号，然后执行步骤八，否则结束；

步骤八、报警提示模块2接收到安全带未系报警信号后，发出报警提示，提醒车内人员系好安全带，然后结束。

其中，S1至S6具体为：

S1、根据返回的人脸坐标信息(即左上角坐标(x_f3,y_f3)、右下角坐标(x_f4,y_f4))，确定人脸图像对角线的直线方程为：

y＝k₁x+b₁,其中

确定安全带候选区域的左边线、右边线、上边线、下边线的方程分别为：

S2、根据人脸图像对角线的直线方程，确定安全带区域上边缘的直线方程为：

F_f3＝p×k1x+b1+t

确定安全带区域下边缘的直线方程为；

F_f4＝p×k₁x+b₁+t+r

根据安全带候选区域的左边线、右边线、上边线、下边线的方程，确定安全带候选区域；

S3、在安全带候选区域内，将安全带区域上边缘以上的部分以及安全带区域下边缘以下的部分置为黑色背景；也即是在该张图像的安全带候选区域做如下操作：

if F_f3＝p×k₁x+b₁+t＞0，F_f3(x,y)＝0

if F_f4＝p×k₁x+b₁+t+r＜0，F_f4(x,y)＝0

S4、对经过S3处理后的图像进行自适应区域分割，得到多个分割区域；自适应区域分割是指根据事先规定的一种相似性准则，并根据此准则提取出若干特征相近的区域；其具体过程为：确定合适的阈值i和邻域(m,n)，然后从起始点j向其邻域(m,n)内搜索像素值，当被搜索到的像素值与j差值小于阈值i时，则可认为此点与j点属于同一个物体，不断循环，当找不到差值小于阈值i时，搜索停止，也即分割结束，经过上述过程后，图像被分割为多个区域(即得到多个分割区域)；

S5、对经过S4处理后的多个分割区域进行计算，得到各个分割区域的安全带区域面积、矩形度、最小外接矩形方向；

S6、对经过S4处理后的多个分割区域进行面积阈值处理、矩形度阈值处理和最小外接矩形方向阈值处理，剔除面积在安全带区域面积范围[A1,A2]外的分割区域，剔除矩形度在矩形度范围[B1,B2]外的分割区域，剔除最小外接矩形方向在最小外接矩形方向范围[C1,C2]外的分割区域，得到分割图像，即分割图像的面积在安全带区域面积范围[A1,A2]内，矩形度在矩形度范围[B1,B2]内，最小外接矩形方向在最小外接矩形方向范围[C1,C2]内。

Claims (1)

1.一种安全带未系提醒方法，采用的安全带未系提醒系统包括车身控制模块(1)、报警提示模块(2)、图像采集模块(3)和图像识别判断模块(4)；所述图像采集模块(3)包括摄像头(31)、光线感应器(32)、照明控制器(33)和辅助照明器(34)，光线感应器(32)与照明控制器(33)连接，照明控制器(33)与辅助照明器(34)连接，光线感应器将检测的车内光线明暗程度信号发送给照明控制器，所述摄像头(31)与图像识别判断模块(4)连接，图像识别判断模块(4)与车身控制模块(1)连接，车身控制模块(1)与报警提示模块(2)连接；其特征在于，该方法包括：

步骤一、照明控制器(33)判断车内光线明暗程度是否小于设定阈值，如果是则执行步骤二，否则执行步骤三；

步骤二、照明控制器(33)控制辅助照明器(34)打开，然后执行步骤三；

步骤三、摄像头(3)采集车内人员座位区图像，并将该图像发送给图像识别判断模块(4)，然后执行步骤四；

步骤四、图像识别判断模块(4)对车内人员座位区图像进行人脸识别，若没有人脸，则返回执行步骤三，若有人脸，则返回人脸坐标信息，并进入步骤五；

步骤五、根据返回的人脸坐标信息，图像识别判断模块(4)对车内人员座位区图像进行处理，得到分割图像，并将该分割图像送入预先存储的系安全带识别模型中，判断车内人员是否系上安全带，然后执行步骤六；

步骤六、图像识别判断模块(4)将车内人员是否系上安全带的信号发送给车身控制模块(1)，然后执行步骤七；

步骤七、车身控制模块(1)结合车内人员是否系上安全带的信号与车速信息进行判断，如果车内人员未系上安全带且车速大于零，则向报警提示模块(2)发出安全带未系报警信号，然后执行步骤八，否则结束；

步骤八、报警提示模块(2)接收到安全带未系报警信号后，发出报警提示，然后结束；

所述步骤五中，图像识别判断模块(4)对车内人员座位区图像进行处理，得到分割图像的具体方式包括：

S1、根据返回的人脸坐标信息，确定人脸图像对角线的直线方程和安全带候选区域的左边线、右边线、上边线、下边线的方程；

S2、根据人脸图像对角线的直线方程，确定安全带区域上边缘的直线方程和安全带区域下边缘的直线方程；根据安全带候选区域的左边线、右边线、上边线、下边线的方程，确定安全带候选区域；

S3、在安全带候选区域内，将安全带区域上边缘以上的部分以及安全带区域下边缘以下的部分置为黑色背景；

S4、对经过S3处理后的图像进行自适应区域分割，得到多个分割区域；

S5、对所述的多个分割区域进行计算，得到各个分割区域的安全带区域面积、矩形度、最小外接矩形方向；

S6、对所述的多个分割区域进行面积阈值处理、矩形度阈值处理和最小外接矩形方向阈值处理，剔除面积在安全带区域面积范围外的分割区域，剔除矩形度在矩形度范围外的分割区域，剔除最小外接矩形方向在最小外接矩形方向范围外的分割区域，得到所述分割图像。

Images