CN113085888A - 智能网联汽车辅助驾驶安全信息检测系统 - Google Patents

智能网联汽车辅助驾驶安全信息检测系统 Download PDF

Info

Publication number
CN113085888A
CN113085888A CN202110430167.1A CN202110430167A CN113085888A CN 113085888 A CN113085888 A CN 113085888A CN 202110430167 A CN202110430167 A CN 202110430167A CN 113085888 A CN113085888 A CN 113085888A
Authority
CN
China
Prior art keywords
alarm
camera
driver
information
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110430167.1A
Other languages
English (en)
Inventor
查明来
季旻霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN202110430167.1A priority Critical patent/CN113085888A/zh
Publication of CN113085888A publication Critical patent/CN113085888A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/006—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a distance sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Abstract

智能网联汽车辅助驾驶安全信息检测系统，该方法包括以下步骤：步骤1，设计智能网联汽车辅助驾驶信息安全系统；步骤2，设计预碰撞报警及目标检测系统；步骤3，设计倒车雷达及视线盲区检测系统；步骤4，设计疲劳驾驶监测警报系统；步骤5，对智能网联汽车辅助驾驶信息安全系统进行联调，实现人机交互。本智能网联汽车辅助驾驶安全信息检测系统基于ADAS进行改进，建立了一套基于驾驶员驾驶与人机交互相结合的汽车驾驶辅助系统，将周围可能出现的危险因素告知驾驶员，在视线盲区以及疲劳驾驶两大极容易出现事故的地方，及时做到了将车外信息实时反馈给驾驶员以避免危险的发生。

Description

智能网联汽车辅助驾驶安全信息检测系统
技术领域
本发明涉及驾驶辅助领域，特别是涉及智能网联汽车辅助驾驶安全信息检测系统。
背景技术
随着经济和社会的发展，汽车已经进入千家万户，成为必备出行工具，2010年，全国汽车保有量为7 801.83万辆，到2019年底，全国汽车保有量增长至2.6亿量，保有量同比增长233.26％。在保障基本出行使用需求的基础上，人们对汽车智能化和安全辅助功能愈发关注。智能传感器、车联网、5G通信和人工智能算法的不断成熟，为车辆辅助驾驶提供了可能。
进入21世纪，计算机科学以及人工智能等技术有了飞速的发展，在汽车行业中，作为未来智能汽车发展的主要方向，无人驾驶技术得到了快速的发展，其中汽车辅助驾驶系统(ADAS)被广泛用作无人驾驶技术发展的起点，通过摄像头，传感器，雷达，报警器等模块在驾驶过程中对驾驶员提供辅助支持并保证驾驶员的行车安全。
发明内容
为解决上述问题，本发明提出了智能网联汽车辅助驾驶安全信息检测系统，为了将周围可能出现的危险因素告知驾驶员，在视线盲区以及疲劳驾驶两大极容易出现事故的地方，及时做到了将车外信息实时反馈给驾驶员以避免危险的发生。为达此目的，本发明提供智能网联汽车辅助驾驶安全信息检测系统，具体步骤如下，其特征在于：
步骤1，设计智能网联汽车辅助驾驶信息安全系统：该系统包括预碰撞报警及目标检测系统、倒车雷达及盲区检测系统和疲劳驾驶监测警报系统；
步骤2，设计预碰撞报警及目标检测系统：该系统由NVIDIA Jetson Nano开发者套件、摄像头、测距雷达和报警器等组成，并使用YOLOV5目标检测算法对行人和汽车进行识别，通过摄像头将实时采集的画面进行模型的训练及标注生成python GUI窗口，并通过pyqt5界面的信号槽反馈到QT窗口上；
步骤3，设计倒车雷达及视线盲区检测系统：该系统由树莓派4B及摄像头，超声波模块，蜂鸣器等模块构成，在中控平台上选择进入倒车模式，驾驶员可选择打开摄像头和开启雷达，Jetson Nano通过ssh脚本控制树莓派开启倒车雷达报警检测系统；
步骤4，设计疲劳驾驶监测警报系统：该系统由树莓派4B，摄像头及音响组成，在中控平台上启动疲劳驾驶监测功能，摄像头会实时对驾驶员进行是否疲劳驾驶的识别，一旦发现驾驶员进入疲劳状态，则通过ssh控制树莓派进行警报声的播放，对驾驶员进行警报提醒；
步骤5，对智能网联汽车辅助驾驶信息安全系统进行联调，该系统采用Python语言进行系统的开发(包括系统设计和测试)，在PC端使用PyCharm进行YOLOV5模型的训练，人脸识别功能，疲劳驾驶监测功能的开发与测试，以及报警器的调试，使用pyqt5进行界面的设计开发并部署到嵌入式Jetson Nano端，将具体功能实现的Python文件绑定到pyqt5的信号槽中，利用QT Designer进行辅助开发，实现人机交互。
进一步，步骤1中设计智能网联汽车辅助驾驶信息安全系统的过程可以表示为：
本发明系统包括预碰撞报警及目标检测系统、倒车雷达及盲区检测系统和疲劳驾驶监测警报系统，其中硬件设备包括NVIDIA Jetson Nano开发者套件、树莓派4B控制系统电路板、中控面板、超声波传感器、测距雷达、无源蜂鸣器、音响、摄像头和电源等。
超声波传感器、测距雷达、无源蜂鸣器、音响、摄像头等传感器和执行器连接树莓派4B控制系统电路板，树莓派4B控制系统电路板通过LTE-V2X通信与平台连接，平台将实时采集的画面作为预碰撞报警及目标检测系统处理的数据。并通过基于Dlib的人脸检测器的ResNet(残差神经网络)对驾驶员信息进行登录，首先通过摄像头录入驾驶员人脸信息并提取特征点，其次将录入人脸信息的特征数据集写入csv并保存到本地文件夹中，在进行登录验证时，摄像头将实时采集的人脸特征信息与本地文件夹中的特征信息进行计算比对，当识别的人脸信息与数据库中的人脸特征信息的欧式距离小于0.4时则判定用户登录成功，短暂弹出登陆成功的界面并跳转到系统主界面。
进一步，步骤2中YOLOV5目标检测算法对行人和汽车进行识别的过程可以表示如下：
YOLOV5目标检测算法，在输入端采用了提升小目标检测准确率的Mosaci数据增强技术，还有基于训练集的自动训练预测框技术Auto Learning Bounding Box Anchors(自适应锚定框)，自适应图片缩放等技术。在Backbone(特征提取网络)中，YOLOV5采用Focus(图片切片)技术及借鉴CSPnet设计的CSP2结构来更好的提取到图片的特征；在Neck结构中，YOLOV5采用FPN+PAN(特征金字塔网络+感知对抗网络)的结构，加强网络特征融合的能力；在输出端，YOLOV5采用GIOU_Loss作为损失函数：
Figure BDA0003031076610000021
其中，IoU为IoU损失，Ac表示检测框与标注的最小外接矩形的面积，U表示检测框与标注并集的面积。在目标框的筛选上采用加权DIOU_NMS(非极大值抑制)算法，优化了检测重叠目标的功能，使用下式决定锚框是否被删除：
Figure BDA0003031076610000022
式中，si是对应预测box的分数list，M和Bi表示两个box，RDIoU是两个box中心点之间的距离，ε表示非极大值抑制阈值。
本发明采用国际上最大的自动驾驶视觉算法评测数据集(KITTI)进行训练，由于国外与国内的环境不同，本发明对于KITTI数据集中的目标类型进行修改，去除其中的“Misc”和“DontCare”类，将“Persion_sitting”类合并到“Pedestrian”类中，最终训练集的类为'Truck'，'Van'，'Car'，'Tram'，'Cyclist'，'Pedestrian'，再将KITTI转化为可训练的VOC数据集格式；此外，在准备Cyclist数据集的过程中，取消了对无人骑行的自行车进行标注，避免了误识别路边的自行车，提高检测效率。完成训练集的准备工作后，在PC端，在NVIDIA CUDA平台上进行GPU的训练，在训练过程中，采用部分数据集先训练，增大学习率，在mAP@0.5提升到一定程度后结束训练并保存模型，再将所得的模型进行二次训练，调整学习率和Epoch训练出精度更高的模型。训练完成后，将训练所得的模型通过剪枝和量化处理，减小模型的大小，使得部署到嵌入式端Jetson Nano的检测功能运行速度更快，在平台层获得行人和汽车YOLOV5检测模型。
进一步，步骤2中预碰撞报警系统设计的过程可以表示如下：
树莓派4B控制系统通过LTE-V2X通信将摄像头检测的数据传输至平台层的行人和汽车YOLOV5检测模型中，同时LTE-V2X通信系统将检测结果发送至预碰撞报警系统中，预碰撞报警系统采用测距雷达模块+报警器(无源蜂鸣器)的结构，当检测到前方车辆或行人进入危险范围内(30m-50m)时，与Jetson Nano连接的报警器开始报警，达到预碰撞提示功能。
进一步，步骤3中倒车雷达及视线盲区检测系统的可以表示如下：
在倒车雷达及视线盲区检测系统中，本发明采用摄像头+无源蜂鸣器+超声波模块+树莓派的系统结构，驾驶员首先在中控平台上发出倒车指令，超声波模块和摄像头开始工作，超声波模块检测到物体在2米以内开始报警，设定蜂鸣器鸣叫一次时间为0.025s，超声波模块每0.0001s发射一次超声波，每0.5s命令超声波进行一次测距工作，设置鸣叫时间间隔与距离的一次线性函数，达到用鸣叫频率表现距离的功能，在距障碍物0.2m以内，设置蜂鸣器长鸣叫，以达到警示作用。此外，该系统还记录了距离进入0.2m以内的总时间，当总时间超过4s后，停止功能的运行，这样更加符合现实中倒车的情景，在不必要的时候关闭功能，节省资源，在一定程度上避免了因超声波模块故障而引发的系统功能的失效。
进一步，步骤4中疲劳驾驶监测警报系统可以表示如下：
在疲劳驾驶监测系统中，本发明使用opencv的人脸Haar特征分类器先后检测出图像里的脸和眼睛，然后初始化疲劳检测器，通过记录闭眼时间超过800ms(正常情况下闭眼时间300-400ms)来确定驾驶员处于疲劳状态，并通过ssh脚本控制树莓派播放警报声。
本发明智能网联汽车辅助驾驶安全信息检测系统，有益效果：本发明的技术效果在于：
1.本发明通过YOLOV5对行人及汽车进行识别，可将预测类别和位置同步进行，提高识别速度，更能满足系统的实时性要求；
2.本发明将训练所得的YOLOV5模型通过剪枝和量化处理，减小了模型大小，让部署到嵌入式端Jetson nano的检测功能运行速度更快；
3.本发明采用摄像头+无源蜂鸣器+超声波模块+树莓派的系统结构，实现了倒车雷达及视线盲区检测功能；
4.本发明设计了疲劳驾驶检测报警系统和人脸识别登录系统，提高了汽车辅助驾驶的安全性。
附图说明
图1为本发明的系统结构图；
图2为本发明的界面展示图；
图3为本发明的YOLOV5目标检测训练结果图；
图4位本发明的YOLOV5预测结果图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提出了智能网联汽车辅助驾驶安全信息检测系统，图1为本发明的控制结构图。下面结控制结构图对本发明的步骤作详细介绍。
步骤1，设计智能网联汽车辅助驾驶信息安全系统：该系统包括预碰撞报警及目标检测系统、倒车雷达及盲区检测系统和疲劳驾驶监测警报系统；
步骤1中设计智能网联汽车辅助驾驶信息安全系统的过程可以表示为：
本发明系统包括预碰撞报警及目标检测系统、倒车雷达及盲区检测系统和疲劳驾驶监测警报系统，其中硬件设备包括NVIDIA Jetson Nano开发者套件、树莓派4B控制系统电路板、中控面板、超声波传感器、测距雷达、无源蜂鸣器、音响、摄像头和电源等。
超声波传感器、测距雷达、无源蜂鸣器、音响、摄像头等传感器和执行器连接树莓派4B控制系统电路板，树莓派4B控制系统电路板通过LTE-V2X通信与平台连接，平台将实时采集的画面作为预碰撞报警及目标检测系统处理的数据。并通过基于Dlib的人脸检测器的ResNet(残差神经网络)对驾驶员信息进行登录，首先通过摄像头录入驾驶员人脸信息并提取特征点，其次将录入人脸信息的特征数据集写入csv并保存到本地文件夹中，在进行登录验证时，摄像头将实时采集的人脸特征信息与本地文件夹中的特征信息进行计算比对，当识别的人脸信息与数据库中的人脸特征信息的欧式距离小于0.4时则判定用户登录成功，短暂弹出登陆成功的界面并跳转到系统主界面，本发明的界面展示图如图2所示。
步骤2，设计预碰撞报警及目标检测系统：该系统由NVIDIA Jetson Nano开发者套件、摄像头、测距雷达和报警器等组成，并使用YOLOV5目标检测算法对行人和汽车进行识别，通过摄像头将实时采集的画面进行模型的训练及标注生成python GUI窗口，并通过pyqt5界面的信号槽反馈到QT窗口上；
步骤2中YOLOV5目标检测算法对行人和汽车进行识别的过程可以表示如下：
YOLOV5目标检测算法，在输入端采用了提升小目标检测准确率的Mosaci数据增强技术，还有基于训练集的自动训练预测框技术Auto Learning Bounding Box Anchors(自适应锚定框)，自适应图片缩放等技术。在Backbone(特征提取网络)中，YOLOV5采用Focus(图片切片)技术及借鉴CSPnet设计的CSP2结构来更好的提取到图片的特征；在Neck结构中，YOLOV5采用FPN+PAN(特征金字塔网络+感知对抗网络)的结构，加强网络特征融合的能力；在输出端，YOLOV5采用GIOU_Loss作为损失函数：
Figure BDA0003031076610000051
其中，IoU为IoU损失，Ac表示检测框与标注的最小外接矩形的面积，U表示检测框与标注并集的面积。在目标框的筛选上采用加权DIOU_NMS(非极大值抑制)算法，优化了检测重叠目标的功能，使用下式决定锚框是否被删除：
Figure BDA0003031076610000052
式中，si是对应预测box的分数list，M和Bi表示两个box，RDIoU是两个box中心点之间的距离，ε表示非极大值抑制阈值。
本发明采用国际上最大的自动驾驶视觉算法评测数据集(KITTI)进行训练，由于国外与国内的环境不同，本发明对于KITTI数据集中的目标类型进行修改，去除其中的“Misc”和“DontCare”类，将“Persion_sitting”类合并到“Pedestrian”类中，最终训练集的类为'Truck'，'Van'，'Car'，'Tram'，'Cyclist'，'Pedestrian'，再将KITTI转化为可训练的VOC数据集格式；此外，在准备Cyclist数据集的过程中，取消了对无人骑行的自行车进行标注，避免了误识别路边的自行车，提高检测效率。完成训练集的准备工作后，在PC端，在NVIDIA CUDA平台上进行GPU的训练，在训练过程中，采用部分数据集先训练，增大学习率，在mAP@0.5提升到一定程度后结束训练并保存模型，再将所得的模型进行二次训练，调整学习率和Epoch训练出精度更高的模型，YOLOV5目标检测训练结果图如图3所示。训练完成后，将训练所得的模型通过剪枝和量化处理，减小模型的大小，使得部署到嵌入式端JetsonNano的检测功能运行速度更快，在平台层获得行人和汽车YOLOV5检测模型。
步骤2中预碰撞报警系统设计的过程可以表示如下：
树莓派4B控制系统通过LTE-V2X通信将摄像头检测的数据传输至平台层的行人和汽车YOLOV5检测模型中，同时LTE-V2X通信系统将检测结果发送至预碰撞报警系统中，预碰撞报警系统采用测距雷达模块+报警器(无源蜂鸣器)的结构，当检测到前方车辆或行人进入危险范围内(30m-50m)时，与Jetson Nano连接的报警器开始报警，达到预碰撞提示功能。
步骤3，设计倒车雷达及视线盲区检测系统：该系统由树莓派4B及摄像头，超声波模块，蜂鸣器等模块构成，在中控平台上选择进入倒车模式，驾驶员可选择打开摄像头和开启雷达，Jetson Nano通过ssh脚本控制树莓派开启倒车雷达报警检测系统；
步骤3中倒车雷达及视线盲区检测系统的可以表示如下：
在倒车雷达及视线盲区检测系统中，本发明采用摄像头+无源蜂鸣器+超声波模块+树莓派的系统结构，驾驶员首先在中控平台上发出倒车指令，超声波模块和摄像头开始工作，超声波模块检测到物体在2米以内开始报警，设定蜂鸣器鸣叫一次时间为0.025s，超声波模块每0.0001s发射一次超声波，每0.5s命令超声波进行一次测距工作，设置鸣叫时间间隔与距离的一次线性函数，达到用鸣叫频率表现距离的功能，在距障碍物0.2m以内，设置蜂鸣器长鸣叫，以达到警示作用。此外，该系统还记录了距离进入0.2m以内的总时间，当总时间超过4s后，停止功能的运行，这样更加符合现实中倒车的情景，在不必要的时候关闭功能，节省资源，在一定程度上避免了因超声波模块故障而引发的系统功能的失效。
步骤4，设计疲劳驾驶监测警报系统：该系统由树莓派4B，摄像头及音响组成，在中控平台上启动疲劳驾驶监测功能，摄像头会实时对驾驶员进行是否疲劳驾驶的识别，一旦发现驾驶员进入疲劳状态，则通过ssh控制树莓派进行警报声的播放，对驾驶员进行警报提醒；
步骤4中疲劳驾驶监测警报系统可以表示如下：
在疲劳驾驶监测系统中，本发明使用opencv的人脸Haar特征分类器先后检测出图像里的脸和眼睛，然后初始化疲劳检测器，通过记录闭眼时间超过800ms(正常情况下闭眼时间300-400ms)来确定驾驶员处于疲劳状态，并通过ssh脚本控制树莓派播放警报声。
步骤5，对智能网联汽车辅助驾驶信息安全系统进行联调，该系统采用Python语言进行系统的开发(包括系统设计和测试)，在PC端使用PyCharm进行YOLOV5模型的训练(YOLOV5预测结果图如图4所示)、人脸识别功能、疲劳驾驶监测功能的开发与测试和报警器的调试，使用pyqt5进行界面的设计开发并部署到嵌入式Jetson Nano端，将具体功能实现的Python文件绑定到pyqt5的信号槽中，利用QT Designer进行辅助开发，实现人机交互。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (6)

1.智能网联汽车辅助驾驶安全信息检测系统，具体步骤如下，其特征在于：
步骤1，设计智能网联汽车辅助驾驶信息安全系统：该系统包括预碰撞报警及目标检测系统、倒车雷达及盲区检测系统和疲劳驾驶监测警报系统；
步骤2，设计预碰撞报警及目标检测系统：该系统由NVIDIA Jetson Nano开发者套件、摄像头、测距雷达和报警器等组成，并使用YOLOV5目标检测算法对行人和汽车进行识别，通过摄像头将实时采集的画面进行模型的训练及标注生成python GUI窗口，并通过pyqt5界面的信号槽反馈到QT窗口上；
步骤3，设计倒车雷达及视线盲区检测系统：该系统由树莓派4B及摄像头，超声波模块，蜂鸣器等模块构成，在中控平台上选择进入倒车模式，驾驶员可选择打开摄像头和开启雷达，Jetson Nano通过ssh脚本控制树莓派开启倒车雷达报警检测系统；
步骤4，设计疲劳驾驶监测警报系统：该系统由树莓派4B，摄像头及音响组成，在中控平台上启动疲劳驾驶监测功能，摄像头会实时对驾驶员进行是否疲劳驾驶的识别，一旦发现驾驶员进入疲劳状态，则通过ssh控制树莓派进行警报声的播放，对驾驶员进行警报提醒；
步骤5，对智能网联汽车辅助驾驶信息安全系统进行联调，该系统采用Python语言进行系统的开发(包括系统设计和测试)，在PC端使用PyCharm进行YOLOV5模型的训练，人脸识别功能，疲劳驾驶监测功能的开发与测试，以及报警器的调试，使用pyqt5进行界面的设计开发并部署到嵌入式Jetson Nano端，将具体功能实现的Python文件绑定到pyqt5的信号槽中，利用QT Designer进行辅助开发，实现人机交互。
2.根据权利要求1所述的智能网联汽车辅助驾驶安全信息检测系统，其特征在于，步骤1中设计智能网联汽车辅助驾驶信息安全系统的过程可以表示为：
本发明系统包括预碰撞报警及目标检测系统、倒车雷达及盲区检测系统和疲劳驾驶监测警报系统，其中硬件设备包括NVIDIA Jetson Nano开发者套件、树莓派4B控制系统电路板、中控面板、超声波传感器、测距雷达、无源蜂鸣器、音响、摄像头和电源等；
超声波传感器、测距雷达、无源蜂鸣器、音响、摄像头等传感器和执行器连接树莓派4B控制系统电路板，树莓派4B控制系统电路板通过LTE-V2X通信与平台连接，平台将实时采集的画面作为预碰撞报警及目标检测系统处理的数据；并通过基于Dlib的人脸检测器的ResNet(残差神经网络)对驾驶员信息进行登录，首先通过摄像头录入驾驶员人脸信息并提取特征点，其次将录入人脸信息的特征数据集写入csv并保存到本地文件夹中，在进行登录验证时，摄像头将实时采集的人脸特征信息与本地文件夹中的特征信息进行计算比对，当识别的人脸信息与数据库中的人脸特征信息的欧式距离小于0.4时则判定用户登录成功，短暂弹出登陆成功的界面并跳转到系统主界面。
3.根据权利要求1所述的智能网联汽车辅助驾驶安全信息检测系统，其特征在于，步骤2中YOLOV5目标检测算法对行人和汽车进行识别的过程可以表示如下：
YOLOV5目标检测算法，在输入端采用了提升小目标检测准确率的Mosaci数据增强技术，还有基于训练集的自动训练预测框技术Auto Learning Bounding Box Anchors(自适应锚定框)，自适应图片缩放等技术；在Backbone(特征提取网络)中，采用Focus(图片切片)技术及借鉴CSPnet设计的CSP2结构来更好的提取到图片的特征；在Neck结构中，采用FPN+PAN(特征金字塔网络+感知对抗网络)的结构，加强网络特征融合的能力；在输出端，采用GIOU_Loss作为损失函数：
Figure FDA0003031076600000021
其中，IoU为IoU损失，Ac表示检测框与标注的最小外接矩形的面积，U表示检测框与标注并集的面积。在目标框的筛选上采用加权DIOU_NMS(非极大值抑制)算法，优化了检测重叠目标的功能，使用下式决定锚框是否被删除：
Figure FDA0003031076600000022
式中，si是对应预测box的分数list，M和Bi表示两个box，RDIoU是两个box中心点之间的距离，ε表示非极大值抑制阈值；
本发明采用国际上最大的自动驾驶视觉算法评测数据集(KITTI)进行训练，由于国外与国内的环境不同，本发明对于KITTI数据集中的目标类型进行修改，去除其中的“Misc”和“DontCare”类，将“Persion_sitting”类合并到“Pedestrian”类中，最终训练集的类为'Truck'，'Van'，'Car'，'Tram'，'Cyclist'，'Pedestrian'，再将KITTI转化为可训练的VOC数据集格式；此外，在准备Cyclist数据集的过程中，取消了对无人骑行的自行车进行标注，避免了误识别路边的自行车，提高检测效率；完成训练集的准备工作后，在PC端，在NVIDIACUDA平台上进行GPU的训练，在训练过程中，采用部分数据集先训练，增大学习率，在mAP@0.5提升到一定程度后结束训练并保存模型，再将所得的模型进行二次训练，调整学习率和Epoch训练出精度更高的模型；训练完成后，将训练所得的模型通过剪枝和量化处理，减小模型的大小，使得部署到嵌入式端Jetson Nano的检测功能运行速度更快，在平台层获得行人和汽车YOLOV5检测模型。
4.根据权利要求1所述的智能网联汽车辅助驾驶安全信息检测系统，其特征在于，步骤2中预碰撞报警系统设计的过程可以表示如下：
树莓派4B控制系统通过LTE-V2X通信将摄像头检测的数据传输至平台层的行人和汽车YOLOV5检测模型中，同时LTE-V2X通信系统将检测结果发送至预碰撞报警系统中，预碰撞报警系统采用测距雷达模块+报警器(无源蜂鸣器)的结构，当检测到前方车辆或行人进入危险范围内(30m-50m)时，与Jetson Nano连接的报警器开始报警，达到预碰撞提示功能。
5.根据权利要求1所述的智能网联汽车辅助驾驶安全信息检测系统，其特征在于，步骤3中倒车雷达及视线盲区检测系统的可以表示如下：
在倒车雷达及视线盲区检测系统中，本发明采用摄像头+无源蜂鸣器+超声波模块+树莓派的系统结构，驾驶员首先在中控平台上发出倒车指令，超声波模块和摄像头开始工作，超声波模块检测到物体在2米以内开始报警，设定蜂鸣器鸣叫一次时间为0.025s，超声波模块每0.0001s发射一次超声波，每0.5s命令超声波进行一次测距工作，设置鸣叫时间间隔与距离的一次线性函数，达到用鸣叫频率表现距离的功能，在距障碍物0.2m以内，设置蜂鸣器长鸣叫，以达到警示作用；此外，该系统还记录了距离进入0.2m以内的总时间，当总时间超过4s后，停止功能的运行，这样更加符合现实中倒车的情景，在不必要的时候关闭功能，节省资源，在一定程度上避免了因超声波模块故障而引发的系统功能的失效。
6.根据权利要求1所述的智能网联汽车辅助驾驶安全信息检测系统，其特征在于，步骤4中疲劳驾驶监测警报系统可以表示如下：
在疲劳驾驶监测系统中，本发明使用opencv的人脸Haar特征分类器先后检测出图像里的脸和眼睛，然后初始化疲劳检测器，通过记录闭眼时间超过800ms(正常情况下闭眼时间300-400ms)来确定驾驶员处于疲劳状态，并通过ssh脚本控制树莓派播放警报声。
CN202110430167.1A 2021-04-21 2021-04-21 智能网联汽车辅助驾驶安全信息检测系统 Pending CN113085888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110430167.1A CN113085888A (zh) 2021-04-21 2021-04-21 智能网联汽车辅助驾驶安全信息检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110430167.1A CN113085888A (zh) 2021-04-21 2021-04-21 智能网联汽车辅助驾驶安全信息检测系统

Publications (1)

Publication Number Publication Date
CN113085888A true CN113085888A (zh) 2021-07-09

Family

ID=76679154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110430167.1A Pending CN113085888A (zh) 2021-04-21 2021-04-21 智能网联汽车辅助驾驶安全信息检测系统

Country Status (1)

Country Link
CN (1) CN113085888A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203228734U (zh) * 2013-04-17 2013-10-09 山东科技大学 智能汽车主动安全预警系统
CN205022515U (zh) * 2015-09-24 2016-02-10 合肥美诚创新培训学校 一种基于树莓派的汽车启动防撞系统
CN105564436A (zh) * 2016-02-24 2016-05-11 深圳市中天安驰有限责任公司 一种高级驾驶辅助系统
CN207637164U (zh) * 2017-11-10 2018-07-20 厦门大学 一种车载疲劳驾驶监控系统
CN108638966A (zh) * 2018-06-11 2018-10-12 南宁学院 一种基于盲区监测的汽车辅助驾驶系统及辅助驾驶方法
CN110733502A (zh) * 2019-11-07 2020-01-31 闫思安 一种人工智能的驾驶辅助系统
CN210082946U (zh) * 2019-05-10 2020-02-18 深圳市联和安业科技有限公司 一种用于物流监控的车载终端
CN111186379A (zh) * 2020-01-21 2020-05-22 武汉大学 一种基于深度学习的汽车盲区危险物报警方法
CN112183370A (zh) * 2020-09-29 2021-01-05 爱动超越人工智能科技（北京）有限责任公司 一种基于ai视觉的叉车防撞预警系统及方法
CN112477873A (zh) * 2020-12-15 2021-03-12 广东海洋大学 一种基于车联网的辅助驾驶和车辆安全管理系统
CN112528961A (zh) * 2020-12-28 2021-03-19 山东巍然智能科技有限公司 一种基于Jetson Nano的视频分析方法
CN112581386A (zh) * 2020-12-02 2021-03-30 南京理工大学 一种全自动避雷器检测与跟踪方法
CN112651358A (zh) * 2020-12-30 2021-04-13 深圳市邻友通科技发展有限公司 一种目标检测方法、装置、网络摄像机及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203228734U (zh) * 2013-04-17 2013-10-09 山东科技大学 智能汽车主动安全预警系统
CN205022515U (zh) * 2015-09-24 2016-02-10 合肥美诚创新培训学校 一种基于树莓派的汽车启动防撞系统
CN105564436A (zh) * 2016-02-24 2016-05-11 深圳市中天安驰有限责任公司 一种高级驾驶辅助系统
CN207637164U (zh) * 2017-11-10 2018-07-20 厦门大学 一种车载疲劳驾驶监控系统
CN108638966A (zh) * 2018-06-11 2018-10-12 南宁学院 一种基于盲区监测的汽车辅助驾驶系统及辅助驾驶方法
CN210082946U (zh) * 2019-05-10 2020-02-18 深圳市联和安业科技有限公司 一种用于物流监控的车载终端
CN110733502A (zh) * 2019-11-07 2020-01-31 闫思安 一种人工智能的驾驶辅助系统
CN111186379A (zh) * 2020-01-21 2020-05-22 武汉大学 一种基于深度学习的汽车盲区危险物报警方法
CN112183370A (zh) * 2020-09-29 2021-01-05 爱动超越人工智能科技（北京）有限责任公司 一种基于ai视觉的叉车防撞预警系统及方法
CN112581386A (zh) * 2020-12-02 2021-03-30 南京理工大学 一种全自动避雷器检测与跟踪方法
CN112477873A (zh) * 2020-12-15 2021-03-12 广东海洋大学 一种基于车联网的辅助驾驶和车辆安全管理系统
CN112528961A (zh) * 2020-12-28 2021-03-19 山东巍然智能科技有限公司 一种基于Jetson Nano的视频分析方法
CN112651358A (zh) * 2020-12-30 2021-04-13 深圳市邻友通科技发展有限公司 一种目标检测方法、装置、网络摄像机及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘明;陈剑雪;陈鹏飞;王凯跃;原鹏亮;谯跃明;王佳乐;: "基于Arduino的倒车雷达系统设计" *
李晓琳,于雪峰: "用PIC16C711实现超声波汽车倒泊防撞报警器的设计" *

Similar Documents

Publication Publication Date Title
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
CN103987577B (zh) 用于监视和信号化车辆的周围环境中的交通情况的方法
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US11120275B2 (en) Visual perception method, apparatus, device, and medium based on an autonomous vehicle
CN106080609A (zh) 一种基于adas模块的安全驾驶的方法和系统
CN112677977B (zh) 行车状态识别方法、装置、电子设备和转向灯控制方法
CN103021175A (zh) 基于达芬奇架构的行人闯红灯视频检测方法及装置
KR102453627B1 (ko) 딥러닝 기반 교통 흐름 분석 방법 및 시스템
CN112389419B (zh) 识别停车位的方法和停车辅助系统
KR102355431B1 (ko) Ai 기반 돌발상황 검지 방법 및 그 시스템
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN114049677B (zh) 基于驾驶员情绪指数的车辆adas控制方法及系统
CN106340205A (zh) 交通监控方法及交通监控装置
CN112606831A (zh) 一种用于客车的防碰撞警示信息对外交互方法及系统
CN108447305A (zh) 一种新交规下礼让行人预警方法及预警系统
CN111985388A (zh) 行人注意力检测驾驶辅助系统、装置和方法
CN114445798A (zh) 一种基于深度学习的城市道路停车位识别方法及系统
CN110929606A (zh) 车辆盲区行人监控方法和装置
CN115965926B (zh) 一种车载式道路标志标线巡检系统
CN113085888A (zh) 智能网联汽车辅助驾驶安全信息检测系统
Beresnev et al. Automated Driving System based on Roadway and Traffic Conditions Monitoring.
CN112232312A (zh) 基于深度学习的自动驾驶方法、装置和电子设备
CN210554492U (zh) 一种车辆驾驶环境监控系统
CN110347043B (zh) 一种智能驾驶控制方法及装置
Sato et al. Scene recognition for blind spot via road safety mirror and in-vehicle camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709

RJ01 Rejection of invention patent application after publication