CN113548056A - 一种基于计算机视觉的汽车安全辅助驾驶系统 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的汽车安全辅助驾驶系统，属计算机视觉和辅助驾驶技术领域。该系统包括：司机困意检测模块、行人检测模块、交通标志检测模块和语音提示模块；通过前、后置摄像头和单片机或电脑，采集汽车行驶过程中所需的图片信息，将信息输入到各模块中，对信息进行分类、检测、识别，然后将信息传递给语音提示模块实时的播报预警信息。提醒司机及时做出规范的操作，提高司机、特别是大货车司机、公交车司机的驾驶安全系数。

Description

一种基于计算机视觉的汽车安全辅助驾驶系统

技术领域

本发明属计算机视觉和辅助驾驶技术领域，具体涉及一种基于计算机视觉的汽车安全辅助驾驶系统。

背景技术

为了能减少交通事故的发生开发更先进的利用计算机视觉深度学习的技术来辅助司机规范其驾驶行为以及提高驾驶的安全系数，可以有效的避免交通事故的发生。目前的这种辅助驾驶系统主要有司机困意检测系统、交通标志检测系统和行人检测及系统。其缺点主要有：司机困意检测系统成本比较高，需要较多的传感器以及先进的设备，如人体血糖仪，心率仪之类的测量困意的设备；交通标志检测系统考虑所有交通标志的类别，模型性能差，速度不够快速，准确率低；行人检测及系统距离估算的实现较少，进行距离精确测算的要使用双目摄像头，其双目摄像头测距原理是相似三角形计算距离，成本高，受到光线环境影响大。

发明内容

为解决现有技术的上述问题，本发明提供一种基于计算机视觉的汽车安全辅助驾驶系统，所采用的是电脑或单片机与前、后置摄像头简单的设备，给司机提供更好的安全警报系统。该系统可以检测司机的困意程度，在司机犯困的时候提醒司机适时休息或替换司机；可以检测重要的交通标志，提醒司机及时做出规范的操作；可以检测前方行走的行人，并告诉司机行人的个数，提醒司机减速慢行。该系统通过快速且高精度的检测，以提高驾驶员驾驶的安全系数。

为达到上述目的，本发明提供如下技术方案：一种基于计算机视觉的汽车安全辅助驾驶系统，包括：司机困意检测模块、行人检测模块、交通标志检测模块和语音提示模块；

司机困意检测模块：通过前置摄像头获取司机的脸部正面图片，将图片输入MTCNN模型。所述MTCNN模型是一种目标检测模型，用于检测人脸，并将人脸输入CNN网络分类器判别司机的性别和年龄段，使用dlib中检测人脸关键点模型，计算司机的困意程度，将信息传递给语音提示模块。所述CNN网络分类器是指卷积神经网络分类器。

行人检测模块：通过后置摄像头实时地获取行人的图片，将图片输入YOLOv3模型中。所述YOLOv3模型是一种目标检测模型，用于检测行人目标，并输出行人的数量及位置，将信息传递给语音提示模块；

交通标志检测模块：通过后置摄像头实时地获取车窗外交通标志图片，将图片输入Retinanet模型。所述Retinanet模型是一种目标检测模型，用于检测交通标志，将信息传递给语音提示模块；

语言提示模块：将司机困意检测模块、行人检测模块、交通标志检测模块传递的信息进行实时播报，提醒司机规范驾驶。

进一步的，所述司机困意检测模块中，获取人脸关键点计算司机的困意程度传递预警信号的具体步骤包括：

S1.1获取人脸图片：通过前置摄像头，利用python的opencv包实时地获取司机的脸部正面图片。所述python的opencv包是指一种编程语言的开源包。

S1.2人脸检测和性别年龄分类：通过python将从摄像头获取的图片输入MTCNN模型，检测出人脸，并通过CNN网络分类器识别出人的性别并判别司机的年龄段。

S1.3困意程度计算：将信息输入到开源工具箱dlib中的人脸关键点检测模型，检测司机双眼以及嘴巴的关键点，根据关键点的位置来计算嘴巴与眼睛的长宽比变化以及左顾右盼的动作，计算司机的困意度。

S1.4传递预警信号：当困意程度到达阈值且持续帧数到达一定帧数时，向语音提示模块传递出预警信号，所述预警信号包括：眯眼预警、打哈预警和左顾右盼行为预警。

进一步的，所述行人检测模块中获取行人的数量及位置传递预警信号的具体步骤包括：

S2.1行人图片获取：通过后置摄像头，利用python的opencv包实时地获取行人图片，输入至YOLOv3模型中。

S2.2行人识别：调用预训练的权重对图片进行处理，识别出行人的数量及位置。

S2.3传递近距预警信号：当行人与汽车的距离达到一定阈值时，向语音提示模块传递出近距预警信号。

进一步的，所述交通标志检测模块识别交通标志传递预警信号的具体步骤包括：

S3.1交通标志图片获取：通过后置摄像头，利用python的opencv 包实时地获取车窗外交通标志图片，输入Retinanet模型；

S3.2交通标志识别：调用预训练的权重对图片进行处理，识别出交通标志；

S3.3传递交通标志信号：将识别出交通标志信息传递给语音提示模块。

本发明还提供一种电子设备，包括前置摄像头、后置摄像头、电脑或单片机，电脑或单片机与前摄像头、后置摄像头通过USB连接，其特征在于：所述电脑或单片机设置一种基于计算机视觉的汽车安全辅助驾驶系统所述的模块，并运行该系统所述的步骤的程序指令。

本发明的有益效果是：

1、本发明的司机困意检测模块通过MTCNN模型检测人脸，进行司机性别和年龄段的判断，使用dlib中检测人脸关键点模型，计算司机的困意程度，将计算或识别出的预警信息传递给语音模块以提醒司机安全驾驶。

2、本发明的交通标志检测模块考虑到各个交通标志出现的概率，去除了一些不常出现的交通标志，减少了交通标志识别的数量，只选取了部分重要的交通标志利用Retinanet模型进行训练，提高了准确率和识别速度。

3、本发明的行人检测模块，通过YOLOv3模型实现行人检测以及计数功能，对路况进行判断，并且可以估算行人距离车头的距离，若距离车头太近则提醒司机提醒了司机及时做出相应的反应。

4、本发明兼顾了司机本人的状态和前方的路况，采用前、后置摄像头获取检测图片，通过电脑或单片机与前后置摄像头连接，实现检测速度更快，检测精度更高，有效的保证司机的驾驶安全，可以推广应用到汽车辅助驾驶领域。

附图说明

图1为本发明的整体流程框架图；

图2为本发明司机困意检测模块采集的司机脸部位效果图；

图3为本发明司机困意检测模块识别的司机性别年龄的效果图；

图4为本发明司机困意检测模块人脸关键点效果图；

图5为本发明司机困意检测模块人眼关键点效果图；

图6为本发明的Yolo V3整体网络结构图；

图7为本发明Yolo v3Bounding box边界框示意图；

图8为本发明行人检测模块采集的行人图片；

图9为本发明行人检测模块识别的行人图片；

图10为本发明交通标志检测模块识别的交通标志图片；

图11为本发明交通标志检测模型中训练模型图。

其中：图6的中文解释为：

Conv＝卷积层

BN＝批标准化层

Leaky Relu＝Leaky Relu激活函数

Resnet unit＝残差网络单元

ResN＝n个残差网络单元

Zero pad＝零填充

Up sampling＝上采样

Concat＝融合

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发本的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示方式说明本发明的基本构思，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

如图1所示，一种基于计算机视觉的汽车安全辅助驾驶系统，包括：司机困意检测模块、行人检测模块、交通标志检测模块和语音提示模块。

如图2-5所示，司机困意检测模块：通过前置摄像头获取司机的脸部正面图片，将图片输入MTCNN模型识别人脸，并将人脸输入 CNN网络分类器判别司机的性别和年龄段，使用dlib中检测人脸关键点模型，计算司机的困意程度，将信息传递给语音提示模块；其具体步骤包括：

如图2所示，S1.1获取人脸图片：通过前置摄像头，利用python 的opencv包实时地获取司机的脸部正面图片。

如图3所示，S1.2人脸检测和性别年龄分类：通过python将从摄像头获取的图片输入MTCNN模型，检测出人脸，通过CNN网络分类器识别出人的性别并判别司机的年龄段。

所述MTCNN模型主要包括三个部分PNet模型、RNet模型和ONet模型，其中PNet模型在训练阶段的输入尺寸为12pixel(像素) *12pixel，RNet的输入尺寸为24pixel*24pixel，ONet模型的输入尺寸为48pixel*48pixel。PNet模型网络参数最小，利用caffe深度学习框架生成的caffe模型保存形式，即：caffemodel，仅有28.2KB，所以速度最快。RNet模型的网络参数次之，caffemodel大小为 407.9KB，ONet模型的caffemodel大小为1.6M，三个网络合起来不到2M。所以检测速度更快，准确率更高。

在本发明中使用所述MTCNN模型来检测出司机的人脸，并通过分类器对识别到的人脸进行性别与年龄的划分。性别分为男性和女性，年龄分为幼儿0～6，少儿7～13，青少年14～18，青年19～35，中年36～55，老年>56这六个年龄段。通过分类器可以识别出司机是男性或者女性，并判别司机的年龄段。如图3所示：左上角为年龄，后面为概率值，右下角为性别，后面为概率值。

如图4-5所示，S1.3困意程度计算：将信息输入到开源工具箱dlib 中的人脸关键点检测模型，检测司机双眼以及嘴巴的关键点，根据关键点的位置来计算嘴巴与眼睛长宽比的变化以及左顾右盼的动作，以此来计算司机的困意程度。

dlib是一个现代化的C++工具箱，其中包含用于在C++中创建复杂软件以解决实际问题的机器学习算法和工具。它广泛应用于工业界和学术界，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。dlib的开源许可证允许使用者在任何应用程序中免费使用它。 dlib有很长的时间，包含很多模块，近几年主要关注在机器学习、深度学习、图像处理等模块的开发。

本发明在司机驾驶的过程中，使用dlib中检测人脸关键点模型来检测司机双眼以及嘴巴的68个关键点，根据关键点的位置来计算嘴巴与眼睛的长宽比，以此来计算司机的困意度。具体为：

1)眯眼行为的计算

将人脸关键点中的眼部的12个关键点提取出来，通过左右眼长宽比计算公式对司机眯眼行为进行计算，这种信号的公式为(如图5 所示)：

右眼为：

(点38到点42距离+点39到点41距离)/(2*点37到点40距离)

左眼为：

(点44到点48距离+点45到点47距离)/(2*点43到点46距离)

2)打哈欠行为的计算

将人脸关键点中嘴部关键点提取出来，利用6个关键点计算嘴巴长宽比得到打哈欠行为信号。这种信号的公式为(如图4所示)：

嘴巴为：

(点62到点68距离+点63到点67距离+点64到点66)/(3*点 62到点64距离)

当达到的长宽比大于等2时和帧数大于5帧时，将信号传递给语音提示模块。

3)左顾右盼行为的预测

当人脸检测摄像头的模型检测不到人脸时，将信号传递给语音提示模块。

S1.4传递预警信号：当S1.3中所述信号到达阈值且持续帧数到达一定帧数时，向语音提示模块传递出预警信号，所述预警信号包括：眯眼预警、打哈预警和左顾右盼行为预警。

1)眯眼预警的判断

左右眼长宽比越小，则越困，反之相反。模块会提前获取司机正常状态下的长宽比数值，当眯眼行为的数值长宽比小于等于正常人眼长宽比的80％且持续帧数到达20时，判断为有困意，将眯眼预警信号传递给语音提示模块。所述帧数是通过python计数器来获取。

2)打哈欠预警的判断

嘴巴的长宽比越大，则越困，反之相反。当打哈欠行为的数值达到长宽比大于等于2且持续帧数到达5时，判断为有困意，将打哈欠预警信号传递给语音提示模块。

3)左顾右盼预警的判断

当前置摄像头的模型检测不到人脸时，将信号传递给语音提示模块。

如图6-9所示，所述行人检测模块：通过后置摄像头获取行人图片，将图片输入至YOLOv3模型中，输出行人的数量及位置，将信息传递给语音提示模块；

MS COCO的全称是Microsoft Common Objects in Context，是微软于2014年出资标注的Microsoft COCO数据集，与ImageNet竞赛一样，被视为是计算机视觉领域最受关注和最权威的比赛数据集之一。在目标检测方面，MS COCO数据集包含20万张图像，一共有 80个类别以及超过50万个目标标注，平均每个图像的目标数为7.2，它是最广泛公开的目标检测数据集。本发明的行人检测模块使用基于深度学习的Pytorch框架的Yolo V3模型，其中Darknet骨干模型，使用优化器Adam，对数据集中的图片进行训练，数据集来源为MS COCO数据集。Yolo V3的Backbone骨干模型使用了Darknet-53骨干模型结构，整体网络结构如图6所示，相对于ResNet-152骨干模型和ResNet-101骨干模型，darknet-53骨干模型不仅在精度上与他们相近，计算速度还比ResNet-152骨干模型和ResNet-101骨干模型快，网络层数也更加精简，使得检测精度和速度得到进一步提高。

如图7所示，Yolo V3模型采用多尺度的网格划分，将图片划分为13*13网格，26*26网格，52*52网格，在不同尺度检测大小不同的物体。

所述行人检测模块具体步骤包括：

如图8所示，S2.1行人图片获取：通过后置摄像头，利用python 的opencv包实时地获取行人图片，输入至YOLOv3模型中。

如图9所示，S2.2行人识别：调用预训练的权重对图片进行处理，识别出行人的数量及位置。

Yolo v3模型的Bounding Box(边界框)由YOLO V2又做出了更好的改进。在Yolov2和Yolo v3中，都采用了对图像中的目标采用k-means(k均值聚类算法)聚类。Featuremap(特征图)中的每一个网格都会预测3个Bounding box，如图3所示，每个Bounding box都会预测以下三项：

(1)每个框的位置(4个值，中心坐标tx和ty，框的高度bh 和宽度bw)。

(2)一个置信度

(3)N个类别，coco数据集80类。

这使得模型对于不同大小的物体都有着较好的检测能力。

Yolo V3模型的Loss Function(损失函数)使用了对图像中检测到的对象执行多标签分类，并使用交叉熵进行分类。以上特点使得 Yolo V3模型在保持精确率的同时，速度得到很大的提升，能够做到实时检测。

S2.3传递近距预警信号：当行人与汽车的距离达到小于3米时，向语音提示模块传递出近距预警信号。

如图10-11所示，所述交通标志检测模块：通过后置摄像头实时地获取车窗外交通标志图片，将图片输入交通标志检测模型，将信息传递给语音提示模块；其具体步骤包括：

S3.1交通标志图片获取：通过后置摄像头，利用python的opencv 包实时地获取车窗外交通标志图片(如图10所示)。

S3.2交通标志识别：调用预训练的权重对图片进行处理，识别出交通标志。

本发明采用了腾讯-清华大学100k交通标志检测和识别数据集，由于原数据集交通标志种类太多，考虑到时间以及设备的问题，本发明训练了最常见的42类交通标志，如图11所示。其中带*的代表同一个大类系列，ph*中包含ph4、ph4.5、ph5，pm*中包含pm20、pm30、pm55，il*中包含il60、il80、il100，pl*中包含pl20、pl30、pl40、pl50、 pl60、pl70、pl80、pl100、pl120。原数据集图片为2048x2048大小，由于图片太大，考虑到内存问题，我们将图片改为512x512。另外，将数据集按4:1划分为训练集和测试集。

首先把读入的图像数据转化成torch.FloatTensor类型，以及把图片的3个通道的数据执行归一化，然后自定义了VocLikeDataset类，该类通过继承torch.utils.data.Dataset类，实现了__len__和__getitem__ 类方法来，从而实现了数据的可迭代。最后使用

torch.utils.data.DataLoader类定义了一个新的迭代器，将数据按照 batch_size来封装成Tensor，然后多线程访问数据，使得训练更有效率，测试集也是同样的访问方法。

交通标志检测模块使用基于深度学习的Pytorch框架的RetinaNet 模型，其中骨干模型为ResNet101，使用Focalloss和Smooth_L1_loss 作为损失函数，对数据进行训练，数据集来源于清华腾讯100K数据集。RetinaNet模型解决了以往one-stage(单阶段)深度学习模型所不能解决的“类别不平衡”的问题，该问题使得以往的模型在训练过程中过分关注负样本，而我们要识别的是正样本，这样正样本就不能很好地被模型训练，而RetinaNet+Focalloss改进了以往模型所用的交叉熵损失函数，使得正样本在训练过程中被模型更好地“关注”，从而能更好地识别目标。

S3.3传递交通标志信号：将识别出交通标志信息传递给语音提示模块。

语言提示模块将司机困意检测模块、行人检测模块、交通标志检测模块传递的信息进行实时播报，提醒司机规范驾驶。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改，等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于计算机视觉的汽车安全辅助驾驶系统，其特征在于，该系统包括：司机困意检测模块、行人检测模块、交通标志检测模块和语音提示模块；

司机困意检测模块：通过前置摄像头获取司机的脸部正面图片，将图片输入MTCNN模型识别人脸，并将人脸输入CNN网络分类器判别司机的性别和年龄段，使用dlib中检测人脸关键点模型，计算司机的困意程度，将信息传递给语音提示模块；

行人检测模块：通过后置摄像头实时地获取行人的图片，将图片输入至YOLOv3模型中，输出行人的数量及位置，将信息传递给语音提示模块；

交通标志检测模块：通过后置摄像头实时地获取车窗外交通标志图片，将图片输入Retinanet模型，将信息传递给语音提示模块；

语言提示模块：将司机困意检测模块、行人检测模块、交通标志检测模块传递的信息进行实时播报，提醒司机规范驾驶。

2.根据权利要求1所述的一种基于计算机视觉的汽车安全辅助驾驶系统，其特征在于：所述司机困意检测模块中，获取人脸关键点计算司机的困意程度传递预警信号的具体步骤包括：

S1.1获取人脸图片：通过前置摄像头，利用python的opencv包实时地获取司机的脸部正面图片；

S1.2人脸检测和性别年龄分类：通过python将从摄像头获取的图片输入MTCNN模型，检测出人脸，并通过CNN网络分类器识别出人的性别并判别司机的年龄段；

S1.3困意程度计算：将信息输入到开源工具箱dlib中的人脸关键点检测模型，检测司机双眼以及嘴巴的关键点，根据关键点的位置来计算嘴巴与眼睛的长宽比变化以及左顾右盼的动作，计算司机的困意度；

S1.4传递预警信号：当困意程度到达阈值且持续帧数到达一定帧数时，向语音提示模块传递出预警信号，所述预警信号包括：眯眼预警、打哈预警和左顾右盼行为预警。

3.根据权利要求1所述的一种基于计算机视觉的汽车安全辅助驾驶系统，其特征在于：所述行人检测模块中获取行人的数量及位置传递预警信号的具体步骤包括：

S2.1行人图片获取：通过后置摄像头，利用python的opencv包实时地获取行人图片，输入至YOLOv3模型中；

S2.2行人识别：调用预训练的权重对图片进行处理，识别出行人的数量及位置；

S2.3传递近距预警信号：当行人与汽车的距离达到一定阈值时，向语音提示模块传递出近距预警信号。

4.根据权利要求1所述的一种基于计算机视觉的汽车安全辅助驾驶系统，其特征在于：所述交通标志检测模块识别交通标志传递预警信号的具体步骤包括：

S3.1交通标志图片获取：通过后置摄像头，利用python的opencv包实时地获取车窗外交通标志图片，输入Retinanet模型；

S3.2交通标志识别：调用预训练的权重对图片进行处理，识别出交通标志；

S3.3传递交通标志信号：将识别出交通标志信息传递给语音提示模块。

5.一种电子设备，包括前置摄像头、后置摄像头、电脑或单片机，电脑或单片机与前置摄像头、后置摄像头通过USB连接，其特征在于：所述电脑或单片机设置权利要求1-4所述的一种基于计算机视觉的汽车安全辅助驾驶系统的模块，并运行该系统所述步骤的程序指令。

Images