CN105691367A - 基于图像与心跳监测联合的公交车主动刹车方法和系统 - Google Patents

Abstract

本发明涉及基于图像与心跳监测联合的公交车主动刹车方法，包括以下步骤：摄像头采集驾驶员的正面图像并检测是否存在人脸，将人脸检测结果发送至判定模块；心率监测设备采集驾驶员的心率信号并判断心率是否异常，将心率检测结果发送至判定模块；根据人脸检测结果和心率检测结果判定驾驶员是否异常；当驾驶员异常时，发送启动信号给主动刹车模块；当收到启动信号时，发送自动刹车信号给主动刹车系统，实现主动刹车。系统包括：人脸检测模块、心率监测模块、判定模块、主动刹车模块。本发明通过摄像头采集司机图像并结合心跳监测设备联合决策，能够在司机非正常驾驶状态下主动刹车，保护车内乘客的生命安全。

Description

基于图像与心跳监测联合的公交车主动刹车方法和系统

技术领域

本发明涉及一种公交车主动刹车方法和系统，特别涉及基于图像与心跳监测联合的公交车主动刹车方法和系统。

背景技术

随着城市化的进程不断的不断加速，公交车在我们的生活中成为了不可缺少的一部分。而最近公交车司机心脏病猝死，将公交车稳稳地停在路边的事迹让我们满心感动的同时也对乘客的安全产生了担忧。如公交车司机失去对汽车的控制能力，不能及时的将汽车挺稳，那么，对乘客来说会造成难以想象的伤害，后果不堪设想。

因此，急需一种能够应对驾驶员突发心脏病时不能控制汽车情况的方法，该方法能够对驾驶员状态进行实时检测，如驾驶员出现异常状况，则需对汽车进行紧急刹车，来保证车内乘客的安全。

发明内容

本发明的目的是通过摄像头对感兴趣区域的监控，从而监控驾驶员的状态，同时配合心跳监测器进行双重信息确认，确认驾驶员是否处于病发状态，如发生心脏类疾病，则进行主动刹车，保护车内乘客安全。。

本发明采用的技术方案如下：基于图像与心跳监测联合的公交车主动刹车方法，包括以下步骤：

人脸检测模块：摄像头采集驾驶员的正面图像并检测是否存在人脸，将人脸检测结果发送至判定模块；

心率监测模块：心率监测设备采集驾驶员的心率信号并判断心率是否异常，将心率检测结果发送至判定模块；

判定模块：根据人脸检测结果和心率检测结果判定驾驶员是否异常；当驾驶员异常时，发送启动信号给主动刹车模块；

主动刹车模块：当收到启动信号时，发送自动刹车信号给主动刹车系统，实现主动刹车。

所述摄像头采集驾驶员的正面图像并检测是否存在人脸包括以下步骤：

1)摄像头采集多张驾驶员的正面图像并得到多个人脸模板；

2)将摄像头实时采集的驾驶员正面图像与每个人脸模板进行卷积：

得到响应矩阵R₁到R_n；其中R_i为第i帧的驾驶员正面图像IMAGE与第i个人脸模版的卷积结果，Template_i为第i个人脸模版，IMAGE为当前帧的驾驶员正面图像，为卷积运算符；

3)求取所有响应矩阵的平均响应值

4)将大于等于阈值thresh的响应值赋值为1，其他赋值为0，响应值为1的区域为掩膜图MASK；

5)根据掩膜图MASK各个连通域得到闭包矩形，闭包矩形区域确定的图像即是人脸样本图像；

6)对人脸样本图像提取Gabor特征送入SVM分类器，得到人脸标签；若该标签为设定值，则存在人脸；否则，不存在人脸。

所述摄像头采集多张驾驶员的正面图像并得到多个人脸模板包括以下步骤：

摄像头采集驾驶员的正面图像，并选取n张含有正面人脸的图像；在每张图像中截取出人脸区域，得到n张正脸的人脸图像FACE₁到FACE_n；

将FACE₁到FACE_n分别归一化到一个设定的分辨率iHeight×iWidth，并求取平均脸作为人脸区域图像模板；

将Template按照多个设定的比率Ratio₁到Ratio_n进行缩放，得到n个人脸模板；其中，缩小图像的比率为放大的比率为

所述根据人脸检测结果和心率检测结果判定驾驶员是否异常具体为：当人脸检测结果为不存在人脸且心率异常时，判定驾驶员异常；否则驾驶员正常。

基于图像与心跳监测联合的公交车主动刹车系统，包括：

人脸检测模块：用于摄像头采集驾驶员的正面图像并检测是否存在人脸，将人脸检测结果发送至判定模块；

心率监测模块：用于心率监测设备采集驾驶员的心率信号并判断心率是否异常，将心率检测结果发送至判定模块；

判定模块：用于根据人脸检测结果和心率检测结果判定驾驶员是否异常；当驾驶员异常时，发送启动信号给主动刹车模块；

主动刹车模块：用于当收到启动信号时，发送自动刹车信号给主动刹车系统，实现主动刹车。

所述人脸检测模块中摄像头采集驾驶员的正面图像并检测是否存在人脸包括：

1)摄像头采集多张驾驶员的正面图像并得到多个人脸模板；

2)将摄像头实时采集的驾驶员正面图像与每个人脸模板进行卷积：

得到响应为矩阵R₁到R_n；其中R_i为第i帧的驾驶员正面图像IMAGE与第i个人脸模版的卷积结果，Template_i为第i个人脸模版，IMAGE为当前帧的驾驶员正面图像，为卷积运算符；

3)求取所有响应矩阵的平均响应值

4)将大于等于阈值thresh的响应值赋值为1，其他赋值为0，响应值为1的区域为掩膜图MASK；

5)根据掩膜图MASK各个连通域得到闭包矩形，闭包矩形区域确定的图像即是人脸样本图像；

6)对人脸样本图像提取Gabor特征送入SVM分类器，得到人脸标签；若该标签为设定值，则存在人脸；否则，不存在人脸。

所述判定模块中摄像头采集多张驾驶员的正面图像并得到多个人脸模板包括：

摄像头采集驾驶员的正面图像，并选取n张含有正面人脸的图像；在每张图像中截取出人脸区域，得到n张正脸的人脸图像FACE₁到FACE_n；

将FACE₁到FACE_n分别归一化到一个设定的分辨率iHeight×iWidth，并求取平均脸作为人脸区域图像模板；

将Template按照多个设定的比率Ratio₁到Ratio_n进行缩放，得到n个人脸模板；其中，缩小图像的比率为放大的比率为

所述根据人脸检测结果和心率检测结果判定驾驶员是否异常具体为：当人脸检测结果为不存在人脸且心率异常时，判定驾驶员异常；否则驾驶员正常。

本发明具有以下优点及有益效果：

1、本发明通过摄像头采集司机图像并结合心跳监测设备联合决策，能够在司机非正常驾驶状态下主动刹车，保护车内乘客的生命安全。

2、本发明通过粗略的人脸模板对拍摄的图像进行响应值求取，确定了人脸的大致区域，减少了计算量。

附图说明

图1为本发明的总体框图；

图2为联合判定逻辑图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

一种基于图像与心跳监测设备联合的公交车主动刹车系统。通过摄像头对感兴趣区域图像的采集，使用分类器对该图像中可能是人脸的区域进行判断，如存在人脸，则认为司机处在正常的驾驶状态中，如不存在人脸，则需要结合心跳监测信息进行状态确认，如心跳监测设备数据异常，则司机发病，则启动主动刹车系统，进行自主刹车，保障车内乘客的安全。

其中心跳监测模块主要是通过将心率监测设备连接至司机脚踝处来时时检测心率信息。心率监测模块采用5秒监测周期对司机脉搏进行监测，设定阈值Thresh_H，如心率在一个周期内小于Thresh_H，则判定为心率异常。

其中主动刹车模块是采用控制信号控制汽车总线进行刹车的模块。

本系统的主要流程图如图1-2所示：

S1公交车驾驶员准备驾驶汽车前开启本系统，摄像头设置于驾驶员前方，并保证摄像头能够拍摄到正常驾驶的驾驶员。

S2摄像头抓取的图像送入人脸检测模块进行人脸检测。

S3心率监测模块监测驾驶员心率是否异常。

S4如人脸检测模块未检测到人脸，则结合心率监测模块判定驾驶员是否异常。

S5如心率监测模块显示异常，则启动主动刹车系统。

S6如人脸检测模块检测到人脸，心率监测模块未发现异常，则对下一帧进行处理。

S7如人脸检测模块检测到人脸，心率监测模块发现异常，则启动主动刹车系统。

S8当驾驶员关闭设备时，检测结束。

送入SVM分类器的感兴趣区域样本的截取步骤如下所示：

S1选取n张含有正脸人脸的图像，分别截取出n张正脸的人脸图像FACE₁到FACE_n。

S2将FACE₁到FACE_n分别归一化到同一个分辨率iHeight×iWidth，并求取平均脸作为人脸区域图像模板；其中Face_i为第i张正脸的人脸图像，n为S1得到的正脸的人脸图像的个数，Template为得到的平均脸。

S2将Template按照比率Ratio₁到Ratio_n进行缩放，其中缩小图像的比率为其中放大的比率为最终将Template按照上述比率缩放为n个子模板。

S3将每个子模板与视频输入当前帧图像进行卷积，其中卷积公式为 $R_i=IMAGE\⊗{\mathrm{Template}}_i,$ 得到响应矩阵R₁到R_n。

S4求取所有响应值的平均响应值

S5设定响应值阈值thresh，将大于等于thresh的响应值赋值为1，其他赋值为0，得到感兴趣区域掩膜图MASK。

S6求取掩膜图MASK各个连通域的闭包矩形。

S7闭包矩形区域确定的图像即是人脸样本图像。

其中，人脸检测模块采用分类器为SVM分类器，提取Gabor特征对输入的区域图像进行检测。

Claims (8)

1.基于图像与心跳监测联合的公交车主动刹车方法，其特征在于：包括以下步骤：

人脸检测模块：摄像头采集驾驶员的正面图像并检测是否存在人脸，将人脸检测结果发送至判定模块；

心率监测模块：心率监测设备采集驾驶员的心率信号并判断心率是否异常，将心率检测结果发送至判定模块；

判定模块：根据人脸检测结果和心率检测结果判定驾驶员是否异常；当驾驶员异常时，发送启动信号给主动刹车模块；

主动刹车模块：当收到启动信号时，发送自动刹车信号给主动刹车系统，实现主动刹车。

2.根据权利要求1所述的基于图像与心跳监测联合的公交车主动刹车方法，其特征在于所述摄像头采集驾驶员的正面图像并检测是否存在人脸包括以下步骤：

1)摄像头采集多张驾驶员的正面图像并得到多个人脸模板；

2)将摄像头实时采集的驾驶员正面图像与每个人脸模板进行卷积：

得到响应矩阵R₁到R_n；其中R_i为第i帧的驾驶员正面图像IMAGE与第i个人脸模版的卷积结果，Template_i为第i个人脸模版，IMAGE为当前帧的驾驶员正面图像，为卷积运算符；

3)求取所有响应矩阵的平均响应值

4)将大于等于阈值thresh的响应值赋值为1，其他赋值为0，响应值为1的区域为掩膜图MASK；

5)根据掩膜图MASK各个连通域得到闭包矩形，闭包矩形区域确定的图像即是人脸样本图像；

6)对人脸样本图像提取Gabor特征送入SVM分类器，得到人脸标签；若该标签为设定值，则存在人脸；否则，不存在人脸。

3.根据权利要求1所述的基于图像与心跳监测联合的公交车主动刹车方法，其特征在于所述摄像头采集多张驾驶员的正面图像并得到多个人脸模板包括以下步骤：

摄像头采集驾驶员的正面图像，并选取n张含有正面人脸的图像；在每张图像中截取出人脸区域，得到n张正脸的人脸图像FACE₁到FACE_n；

将FACE₁到FACE_n分别归一化到一个设定的分辨率iHeight×iWidth，并求取平均脸作为人脸区域图像模板；

将Template按照多个设定的比率Ratio₁到Ratio_n进行缩放，得到n个人脸模板；其中，缩小图像的比率为放大的比率为

4.根据权利要求1所述的基于图像与心跳监测联合的公交车主动刹车方法，其特征在于所述根据人脸检测结果和心率检测结果判定驾驶员是否异常具体为：当人脸检测结果为不存在人脸且心率异常时，判定驾驶员异常；否则驾驶员正常。

5.基于图像与心跳监测联合的公交车主动刹车系统，其特征在于包括：

人脸检测模块：用于摄像头采集驾驶员的正面图像并检测是否存在人脸，将人脸检测结果发送至判定模块；

心率监测模块：用于心率监测设备采集驾驶员的心率信号并判断心率是否异常，将心率检测结果发送至判定模块；

判定模块：用于根据人脸检测结果和心率检测结果判定驾驶员是否异常；当驾驶员异常时，发送启动信号给主动刹车模块；

主动刹车模块：用于当收到启动信号时，发送自动刹车信号给主动刹车系统，实现主动刹车。

6.根据权利要求1所述的基于图像与心跳监测联合的公交车主动刹车系统，其特征在于所述人脸检测模块中摄像头采集驾驶员的正面图像并检测是否存在人脸包括：

1)摄像头采集多张驾驶员的正面图像并得到多个人脸模板；

2)将摄像头实时采集的驾驶员正面图像与每个人脸模板进行卷积：

得到响应为矩阵R₁到R_n；其中R_i为第i帧的驾驶员正面图像IMAGE与第i个人脸模版的卷积结果，Template_i为第i个人脸模版，IMAGE为当前帧的驾驶员正面图像，为卷积运算符；

3)求取所有响应矩阵的平均响应值

4)将大于等于阈值thresh的响应值赋值为1，其他赋值为0，响应值为1的区域为掩膜图MASK；

5)根据掩膜图MASK各个连通域得到闭包矩形，闭包矩形区域确定的图像即是人脸样本图像；

6)对人脸样本图像提取Gabor特征送入SVM分类器，得到人脸标签；若该标签为设定值，则存在人脸；否则，不存在人脸。

7.根据权利要求6所述的基于图像与心跳监测联合的公交车主动刹车系统，其特征在于所述摄像头采集多张驾驶员的正面图像并得到多个人脸模板包括：

摄像头采集驾驶员的正面图像，并选取n张含有正面人脸的图像；在每张图像中截取出人脸区域，得到n张正脸的人脸图像FACE₁到FACE_n；

将FACE₁到FACE_n分别归一化到一个设定的分辨率iHeight×iWidth，并求取平均脸作为人脸区域图像模板；

将Template按照多个设定的比率Ratio₁到Ratio_n进行缩放，得到n个人脸模板；其中，缩小图像的比率为放大的比率为

8.根据权利要求1所述的基于图像与心跳监测联合的公交车主动刹车系统，其特征在于所述判定模块中根据人脸检测结果和心率检测结果判定驾驶员是否异常具体为：当人脸检测结果为不存在人脸且心率异常时，判定驾驶员异常；否则驾驶员正常。