CN107545803A - 一种驾驶培训智能教练系统 - Google Patents

一种驾驶培训智能教练系统 Download PDF

Info

Publication number
CN107545803A
CN107545803A CN201710851836.6A CN201710851836A CN107545803A CN 107545803 A CN107545803 A CN 107545803A CN 201710851836 A CN201710851836 A CN 201710851836A CN 107545803 A CN107545803 A CN 107545803A
Authority
CN
China
Prior art keywords
driver
driving
pedal
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710851836.6A
Other languages
English (en)
Other versions
CN107545803B (zh
Inventor
宋春跃
杨雨安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710851836.6A priority Critical patent/CN107545803B/zh
Publication of CN107545803A publication Critical patent/CN107545803A/zh
Application granted granted Critical
Publication of CN107545803B publication Critical patent/CN107545803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种驾驶培训智能教练系统。包括在驾驶模拟器上安装的四个摄像头、操作传感器、数据采集卡、计算机,四个摄像头和操作传感器均经数据采集卡和计算机连接;计算机接收摄像头获取的图像和操作传感器采集的电信号,实时识别驾驶者的驾驶操作并提醒,对车辆的运动情况进行动力学仿真,实时根据所采集的操作传感器数据得出驾驶建议进行提醒,通过扬声器发出语音信号告知驾驶者。本发明用于拓展驾驶模拟器的功能,使计算机能像驾驶教练一样给驾驶学员作出指导,提高驾驶学员在使用驾驶模拟器进行训练时的学习效果。

Description

一种驾驶培训智能教练系统
技术领域
本发明属于人工智能领域,具体涉及一种驾驶培训智能教练系统。
背景技术
人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来,理论和技术日益成熟,应用领域也不断扩大。
随着我国的汽车普及程度越来越高,驾驶汽车逐渐成为现代人必需的生活技能。目前,我国国内驾驶培训行业存在很多问题,比如:较低的培训质量、破旧的训练场地与教练车、较少的培训时间、不规范的教练员队伍、高昂的培训费用。新手驾驶者的不当驾驶操作有时还会造成道路拥堵、燃油浪费等问题。汽车驾驶模拟系统的发展与应用,有利于解决上述问题。但是,现在驾校中使用的驾驶模拟系统,无法对驾校学员的驾驶操作作出识别与反馈,也无法像教练一样实时给出驾驶建议,即不具备驾校教练的功能,这也使得驾驶模拟系统难以更多地替换实际的车辆,其优越性难以进一步发挥。
发明内容
由于驾校中使用的汽车驾驶模拟器存在上述不足,本发明提出了一种驾驶培训智能教练系统,用于拓展驾驶模拟器的功能。
为实现上述目的,本发明所采取的实现方案如下:
本发明包括驾驶模拟器,还包含以下组成部分:
包括在驾驶模拟器上安装的四个摄像头、操作传感器、数据采集卡、计算机,四个摄像头和操作传感器均经数据采集卡和计算机连接,四个摄像头具体包括:
第一摄像头,位于驾驶模拟器的驾驶台面上部并且朝向驾驶者人脸正面侧,获取驾驶者的头部图像;
第二摄像头,位于驾驶模拟器的座椅顶端的右侧或者左侧并且朝向方向盘和操作杆,获取方向盘和操作杆的图像;
第三摄像头,位于方向盘下方并且朝向离合器踏板、刹车踏板和油门踏板,获取离合器踏板、刹车踏板和油门踏板的图像;
第四摄像头,位于驾驶模拟器的右侧方或者左侧方并且朝向方向盘、操作杆、离合器踏板、刹车踏板和油门踏板,获取方向盘、操作杆、离合器踏板、刹车踏板、油门踏板的图像。
在驾驶模拟器中,包括座椅和驾驶台面,座椅侧方布置有操作杆,驾驶台面前部布置有方向盘,驾驶台面底部设有离合器踏板、刹车踏板、油门踏板。
所述的第二摄像头拍摄的图像中包含有方向盘和操作杆以及放置在方向盘和操作杆上的双手;第三摄像头拍摄的图像中包含有离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚;第四摄像头拍摄的图像中包含有方向盘和操作杆、放置在方向盘和操作杆上的双手,离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚;
在计算机中通过第二摄像头拍摄图像中的双手区域第四摄像头拍摄图像中的双手区域相结合实现驾驶者的双手立体三维成像;在计算机中通过第三摄像头拍摄图像中的双脚区域和第四摄像头拍摄图像中的双脚区域相结合实现驾驶者的双手立体三维成像。
所述数据采集卡与驾驶模拟器上的操作传感器相连接,获取操作传感器采集的电信号发送给计算机。
所述的操作传感器包括安装在方向盘的角位移传感器,离合器踏板、刹车踏板和油门踏板的位置传感器以及驻车制动器、换挡杆和操作开关的开关量传感器,操作开关包括左转向灯、右转向灯、应急灯、喇叭、点火开关、安全带、车门、雨刷、远光灯、近光灯和远近光交替。
所述驾驶培训智能教练系统采用以下方式对驾驶者在模拟器上的操作进行控制和提醒:计算机接收摄像头获取的图像和操作传感器采集的电信号,实时识别驾驶者的驾驶操作并提醒,对车辆的运动情况进行动力学仿真,实时根据所采集的操作传感器数据得出驾驶建议进行提醒,通过扬声器发出语音信号告知驾驶者。
所述实时识别驾驶者的驾驶操作并提醒,包含以下过程:
(1)计算机对摄像头采集的图像信息进行处理,分割出图像中的人脸、手或者脚,进而得到驾驶者脸部的朝向、双手的位置和脚的位置;
(2)依据已构建常见驾驶陋习图像模板库判断驾驶者的驾驶操作是否为驾驶陋习;
(3)根据判断结果,通过扬声器发出预先储存的语音信号,提醒驾驶者更正驾驶陋习。
常见驾驶陋习图像模板库是由摄像头在各自的布置位置拍摄驾驶者在常见驾驶陋习的操作下的图像组成。
常见驾驶陋习具体包括:驾驶时左顾右盼、单手打方向盘、“9点、3点握法”之外的方向盘握法、换挡后右手一直放在操作杆上、左脚长时间放在离合器踏板上、用脚心踩脚踏板等。
判定规则包括:
(1)若系统检测到双手操作方向盘的方式不正确的时间超过3秒,判定手未正确握方向盘,播放提前录制好的“请正确操作方向盘”语音予以提醒,这里的操作方向盘的不正确方式包括:单手打方向盘(不包括右手换挡)、“9点、3点握法”之外的方向盘握法;
(2)若系统检测到驾驶者换挡时右手在换挡杆区域停留的时间超过4秒,认为右手在换挡杆停留的时间过长,播放提前录制好的“手不要长时间放在换挡杆上”语音予以提醒;
(3)系统每隔3秒对正脸进行检测,检测不到正脸时,则认为学员没有面向前方,播放“请面向前方”语音予以提醒。
(4)若系统检测到驾驶者在正常行驶时左脚放在油门上停留的时间超过10秒,认为左脚长时间放在离合器踏板上,播放提前录制好的“左脚不要长时间放在离合器踏板上”语音予以提醒;
(5)若系统检测到驾驶者用脚心踩脚踏板,则认为驾驶者踩踏板的方式不正确,播放提前录制好的“请用脚前掌踩踏板”语音予以提醒。
所述对车辆的运动情况进行动力学仿真,实时根据所采集的操作传感器数据得出驾驶建议进行提醒,包含以下过程:
(1)计算机内预先搭建与驾驶模拟器中驾驶场景同步相同的虚拟场景,并建立与驾驶模拟器中虚拟车辆的运动同步的车辆动力学仿真模型;
(2)驾驶者选择驾驶模拟器上的场景进行模拟训练时,计算机上搭建的虚拟场景和车辆动力学仿真模型分别与驾驶模拟器中的驾驶场景和虚拟车辆保持同步;
(3)计算机根据虚拟场景中车辆的起始位置与目标位置,通过路径优化拟定一条车辆行驶的预期轨迹,在预期轨迹上设定驾驶拐点和等间隔设定特征点;
直线路段的预期轨迹可以直接确定,路径优化主要针对转弯路段,方法具体是:以求得的预期轨迹同转弯前后直线段构成的图形的面积最小为优化目标建立优化命题,约束条件为需满足汽车的动力学特性,利用欧拉离散把优化命题转化为离散型数学规划问题,利用梯度下降法进行求解。
(4)用数据采集卡实时间隔采集操作传感器的电信号,计算机将数据采集卡接收的电信号输入到车辆动力学仿真模型,计算当前时刻车辆的位置、方向和速度的情况;
(5)当虚拟场景中车辆到达某一特征点附近时,根据当前时刻下方向盘角位移、刹车和油门踏板的位置,结合当前车辆的行进速度、方向和位置计算估计当前时刻到下一时刻的行进轨迹及下一时刻的目标位置;
虚拟场景中车辆到达某一特征点附近是建立距离阈值进行判断。
方向盘角位移是安装在方向盘的角位移传感器所采集到的信号数据。
所述的根据方向盘角位移变化结合当前车辆的行进速度、方向和位置处理估计当前时刻到下一时刻的行进轨迹及下一时刻的估计目标位置,具体是:
将当前时刻下方向盘的角位移信息与车辆的行进方向和速度输入到车辆动力学仿真模型,计算在当前时刻的方向盘角位移和车辆行进速度、方向下,车辆行驶的距离达到轨迹特征点的间隔的距离时,车辆的位置为车辆行驶的目标位置。
(6)将行进轨迹与预期轨迹之间的夹角和轨迹角度阈值进行比较判断,行进轨迹与预期轨迹之间的夹角为当前车辆位置和下一时刻的目标位置的连线与当前车辆位置和下一特征点的连线之间的夹角:
若行进轨迹与预期轨迹之间的夹角超过轨迹角度阈值,则认为驾驶者的驾驶不符合预期轨迹,以下一特征点为行进目标点,通过扬声器播放音频信号发送给驾驶者,提醒驾驶者实时控制方向盘偏转与行进轨迹与预期轨迹之间夹角对应的旋转角度;
若行进轨迹与预期轨迹之间的夹角未超过轨迹角度阈值时,则认为驾驶者的驾驶符合预期轨迹,不对驾驶者作出任何提醒;
(7)根据当前车辆位置和驾驶拐点的位置判断处理:
根据当前车辆位置和预期轨迹上调头拐点的位置之间是否小于距离阈值,判断是否存在车辆调头情况;根据当前车辆位置和预期轨迹上的停止点的位置之间是否小于距离阈值,判断是否存在车辆停车情况;根据当前车辆位置和预期轨迹上的转弯拐点的位置之间是否小于距离阈值,判断是否存在车辆转弯情况;再根据是否存在车辆调头情况,则通过扬声器播放音频信号发送给驾驶者,提醒驾驶者换挡减速或调整灯光。
本发明的有益效果是:
本发明中提出的一种驾驶培训智能教练系统,能够以计算机来实现驾校教练的职能,在一定程度上替代驾校教练。
本发明搭建在驾驶模拟器上,具有实时指导功能和总结功能,能更好地发挥驾驶模拟器的优越性。本发明的一个优点在于,利用图像处理技术,能够识别驾驶者的驾驶动作,检测驾驶者的驾驶陋习,针对驾驶习惯为驾驶者提供指导。本发明的另一个优点在于,利用汽车的动力学仿真和路径优化,在驾驶操作方面向驾驶者提出实时的建议,指导驾驶者应如何驾驶车辆到达目标位置。另外,本发明具有总结功能,从历史数据中得出驾驶者的操作规律,给驾驶者提出评价和建议,使驾驶者对自己的驾驶操作有更加清晰的认识。
附图说明
图1为本发明实现实时指导功能的流程图。
图2为本发明中摄像头的具体设置情况示意图。
图3为本发明指导具体驾驶操作的示意图。
图4为本发明指导具体驾驶操作的局部示意图。
图5为本发明实现总结功能的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做具体阐述和说明:
如图2所示,本发明具体实施包括在驾驶模拟器上安装的四个摄像头C1、C2、C3、C4、操作传感器、数据采集卡、计算机自带扬声器,四个摄像头C1、C2、C3、C4和操作传感器均经数据采集卡和计算机连接,四个摄像头具体包括:
第一摄像头C1安装在驾驶模拟器的驾驶台面上部并且朝向驾驶者人脸正面侧,获取驾驶者的头部图像;
第二摄像头C2安装在驾驶模拟器的座椅顶端的右侧或者左侧并且朝向方向盘和操作杆,获取方向盘和操作杆的图像用以识别驾驶者的双手;
第三摄像头C3安装在方向盘下方并且朝向离合器踏板、刹车踏板和油门踏板,获取离合器踏板、刹车踏板和油门踏板的图像用以识别驾驶者的双脚;
第四摄像头C4安装在驾驶模拟器的右侧方或者左侧方并且朝向方向盘、操作杆、离合器踏板、刹车踏板和油门踏板,获取方向盘、操作杆、离合器踏板、刹车踏板、油门踏板的图像。
在驾驶模拟器中,包括座椅和驾驶台面,座椅侧方布置有操作杆,驾驶台面前部布置有方向盘,驾驶台面底部设有离合器踏板、刹车踏板、油门踏板。
第二摄像头C2拍摄的图像中包含有方向盘和操作杆以及放置在方向盘和操作杆上的双手;第三摄像头C3拍摄的图像中包含有离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚;第四摄像头C4拍摄的图像中包含有方向盘和操作杆、放置在方向盘和操作杆上的双手,离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚;
在计算机中通过第二摄像头C2拍摄图像中的双手区域(平面二维成像)和第四摄像头C4拍摄图像中的双手区域(平面二维成像)相结合实现驾驶者的双手立体三维成像;在计算机中通过第三摄像头C3拍摄图像中的双脚区域(平面二维成像)和第四摄像头C4拍摄图像中的双脚区域(平面二维成像)相结合实现驾驶者的双手立体三维成像。
数据采集卡与驾驶模拟器上的操作传感器相连接,获取操作传感器采集的电信号发送给计算机。
经过上述处理,计算机得到驾驶者的脸部朝向,确定双手、双脚在空间中的三维坐标,据此可以用于后续判断驾驶者是否存在驾驶陋习,并根据判断情况播放预先储存的语音提醒驾驶者纠正。
判定规则包括:
(1)若系统检测到双手操作方向盘的方式不正确的时间超过3秒,判定手未正确握方向盘,播放提前录制好的“请正确操作方向盘”语音予以提醒,这里的操作方向盘的不正确方式包括:单手打方向盘(不包括右手换挡)、“9点、3点握法”之外的方向盘握法;
(2)若系统检测到驾驶者换挡时右手在换挡杆区域停留的时间超过4秒,认为右手在换挡杆停留的时间过长,播放提前录制好的“手不要长时间放在换挡杆上”语音予以提醒;
(3)系统每隔3秒对正脸进行检测,检测不到正脸时,则认为学员没有面向前方,播放“请面向前方”语音予以提醒。
(4)若系统检测到驾驶者在正常行驶时左脚放在油门上停留的时间超过10秒,认为左脚长时间放在离合器踏板上,播放提前录制好的“左脚不要长时间放在离合器踏板上”语音予以提醒;
(5)若系统检测到驾驶者用脚心踩脚踏板,则认为驾驶者踩踏板的方式不正确,播放提前录制好的“请用脚前掌踩踏板”语音予以提醒。
操作传感器包括安装在方向盘的角位移传感器,离合器踏板、刹车踏板和油门踏板的位置传感器以及驻车制动器、换挡杆和操作开关的开关量传感器,操作开关包括左转向灯、右转向灯、应急灯、喇叭、点火开关、安全带、车门、雨刷、远光灯、近光灯和远近光交替。
如图1所示,本发明实现实时指导功能的工作过程如下:
1)计算机接收摄像头获取的图像和操作传感器采集的电信号,实时识别驾驶者的驾驶操作并提醒;
1.1)计算机对摄像头传来的图像信息进行处理,分割出图像中的人脸、手、脚,进而得到驾驶者脸部的朝向、双手的位置、脚的位置等信息;
1.2)依据已构建的常见驾驶陋习图像模板库判断是否存在驾驶陋习(驾驶时左顾右盼、单手打方向盘、“9点、3点握法”之外的方向盘握法、换挡后右手一直放在操作杆上、左脚长时间放在离合器踏板上、用脚心踩脚踏板等);
1.3)计算机根据判断结果,通过扬声器发出预先储存的语音信号(“脸应面向前方”、“双手应放到方向盘上”、“右手在换完挡后不要继续握换挡杆”、“正常行驶时右脚应放在油门上”等),指正驾驶者存在的驾驶陋习。
2)对车辆的运动情况进行动力学仿真,实时根据所采集的操作传感器数据得出驾驶建议进行提醒,通过扬声器发出语音信号告知驾驶者。
2.1)计算机内预先搭建与驾驶模拟器中驾驶场景同步相同的虚拟场景,并建立与驾驶模拟器中虚拟车辆的运动同步的车辆动力学仿真模型;
2.2)驾驶者选择驾驶模拟器上的场景进行模拟训练时,计算机上搭建的虚拟场景和车辆动力学仿真模型分别与驾驶模拟器中的驾驶场景和虚拟车辆保持同步;
2.3)计算机根据虚拟场景中车辆的起始位置与目标位置,通过路径优化拟定一条车辆行驶的预期轨迹,在预期轨迹上设定驾驶拐点和等间隔设定特征点;
直线路段的预期轨迹可以直接确定,路径优化主要针对转弯路段,方法具体是:
以得到的预期轨迹同转弯前后直线段构成的图形的面积最小为优化目标建立优化命题,约束条件为需满足汽车的动力学特性,利用欧拉离散把优化命题转化为离散型数学规划问题,利用梯度下降法进行求解。
2.4)用数据采集卡实时间隔采集操作传感器的电信号,计算机将数据采集卡接收的电信号输入到车辆动力学仿真模型,计算当前时刻车辆的位置、方向和速度的情况;
2.5)当虚拟场景中车辆到达某一特征点附近时,根据当前时刻下方向盘角位移及当前车辆的行进速度、方向和位置计算估计当前时刻到下一时刻的行进轨迹及下一时刻的目标位置;
虚拟场景中车辆到达某一特征点附近是建立距离阈值进行判断。
方向盘角位移是安装在方向盘的角位移传感器所采集到的信号数据。
所述的根据方向盘角位移变化结合当前车辆的行进速度、方向和位置处理估计当前时刻到下一时刻的行进轨迹及下一时刻的估计目标位置,具体是:
将当前时刻下方向盘的角位移信息与车辆的行进方向和速度输入到车辆动力学仿真模型,计算在当前时刻的方向盘角位移和车辆行进速度、方向下,车辆行驶的距离达到轨迹特征点的间隔的距离时,车辆的位置为车辆行驶的目标位置。
2.6)将行进轨迹与预期轨迹之间的夹角和轨迹角度阈值进行比较判断,行进轨迹与预期轨迹之间的夹角为当前车辆位置和下一时刻的目标位置的连线与当前车辆位置和下一特征点的连线之间的夹角:
若行进轨迹与预期轨迹之间的夹角超过轨迹角度阈值,则认为驾驶者的驾驶不符合预期轨迹,以下一特征点为行进目标点,通过扬声器播放音频信号发送给驾驶者,提醒驾驶者实时控制方向盘偏转与行进轨迹与预期轨迹之间夹角对应的旋转角度;
若行进轨迹与预期轨迹之间的夹角未超过轨迹角度阈值时,则认为驾驶者的驾驶符合预期轨迹,不对驾驶者作出任何提醒;
以汽车入库停车的过程为例进行说明,如图3所示。连接汽车初始位置与目标位置的实线箭头,表示计算机利用路径优化拟合出的预期轨迹。该实线箭头上有若干白色圆圈,表示计算机在预期轨迹上设定的特征点。根据汽车与每个特征点的距离是否小于距离阈值r判断汽车是否到达特征点附近。如图3中所示,以特征点A为圆心,距离阈值r为半径作圆,当汽车位置进入该圆的范围时时,表示汽车到达特征点A附近。如图4中所示,当汽车到达A’点时,认为汽车到达特征点A附近。计算机根据车在点A’时的行进速度、方向,结合驾驶者的驾驶操作(方向盘的角位移、刹车和油门踏板的位置等),利用车辆动力学仿真模型求解在当前驾驶操作下车的行进轨迹,如图4中弧A’B’所示,弧A’B’长度与弧AB长度相等,点B’为当前驾驶操作下车的下一时刻的估计目标位置。将直线A’B’与A’B的夹角δ看做行进轨迹与预期轨迹的偏差。当δ过大时,以特征点B为行进目标点,计算机利用车辆动力学仿真模型求解驾驶操作的调整方案,以此作为对驾驶者的实时指导,通过扬声器播放音频信号发送给驾驶者。当δ较小时,不对驾驶者作出任何提醒。重复上述过程,计算机可以指导驾驶者不断对偏差δ进行修正,从而使汽车基本上沿预期轨迹行驶。
2.7)根据当前车辆位置和驾驶拐点的位置判断处理:
根据当前车辆位置和预期轨迹上调头拐点的位置之间是否小于距离阈值,判断是否存在车辆调头情况;若小于距离阈值,则存在车辆调头,否则不存在。
根据当前车辆位置和预期轨迹上的停止点的位置之间是否小于距离阈值,判断是否存在车辆停车情况;若小于距离阈值,则存在车辆停车,否则不存在。
根据当前车辆位置和预期轨迹上的转弯拐点的位置之间是否小于距离阈值,判断是否存在车辆转弯情况;若小于距离阈值,则存在车辆转弯,否则不存在。
再根据是否存在车辆调头情况,则通过扬声器播放音频信号发送给驾驶者,提醒驾驶者换挡减速或调整灯光。
如图5所示,本发明系统还能根据历史数据对驾驶者在模拟器上的操作进行分析和评判,实现总结功能:
1在训练结束后,计算机记录并分类驾驶者进行驾驶培训的历史数据;
2结合不同场景,选定具有代表性的驾驶操作,计算在驾驶者培训过程中所选取操作发生的频率。常见的还有打方向盘的速度过快或过慢、打方向盘的时机过早或过晚等。
3计算机根据上述驾驶操作发生的频率,对该驾驶者的驾驶作出评价,针对驾驶者的不足提出建议,在训练结束后以总结报告的形式告知驾驶者。

Claims (6)

1.一种驾驶培训智能教练系统,包括驾驶模拟器,其特征在于:包含以下组成部分:
包括在驾驶模拟器上安装的四个摄像头(C1、C2、C3、C4)、操作传感器、数据采集卡、计算机,四个摄像头(C1、C2、C3、C4)和操作传感器均经数据采集卡和计算机连接,四个摄像头具体包括:
第一摄像头(C1),位于驾驶模拟器的驾驶台面上部并且朝向驾驶者人脸正面侧,获取驾驶者的头部图像;
第二摄像头(C2),位于驾驶模拟器的座椅顶端的右侧或者左侧并且朝向方向盘和操作杆,获取方向盘和操作杆的图像;
第三摄像头(C3),位于方向盘下方并且朝向离合器踏板、刹车踏板和油门踏板,获取离合器踏板、刹车踏板和油门踏板的图像;
第四摄像头(C4),位于驾驶模拟器的右侧方或者左侧方并且朝向方向盘、操作杆、离合器踏板、刹车踏板和油门踏板,获取方向盘、操作杆、离合器踏板、刹车踏板、油门踏板的图像。
2.根据权利要求1所述的一种驾驶培训智能教练系统,其特征在于:所述的第二摄像头(C2)拍摄的图像中包含有方向盘和操作杆以及放置在方向盘和操作杆上的双手;第三摄像头(C3)拍摄的图像中包含有离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚;第四摄像头(C4)拍摄的图像中包含有方向盘和操作杆、放置在方向盘和操作杆上的双手,离合器踏板、刹车踏板和油门踏板以及放置在离合器踏板、刹车踏板和油门踏板上的双脚;在计算机中通过第二摄像头(C2)拍摄图像中的双手区域第四摄像头(C4)拍摄图像中的双手区域相结合实现驾驶者的双手立体三维成像;在计算机中通过第三摄像头(C3)拍摄图像中的双脚区域和第四摄像头(C4)拍摄图像中的双脚区域相结合实现驾驶者的双手立体三维成像。
3.根据权利要求1所述的一种驾驶培训智能教练系统,其特征在于:所述的操作传感器包括安装在方向盘的角位移传感器,离合器踏板、刹车踏板和油门踏板的位置传感器以及驻车制动器、换挡杆和操作开关的开关量传感器,操作开关包括左转向灯、右转向灯、应急灯、喇叭、点火开关、安全带、车门、雨刷、远光灯、近光灯和远近光交替。
4.根据权利要求1所述的一种驾驶培训智能教练系统,其特征在于:所述驾驶培训智能教练系统采用以下方式对驾驶者在模拟器上的操作进行控制和提醒:计算机接收摄像头获取的图像和操作传感器采集的电信号,实时识别驾驶者的驾驶操作并提醒,对车辆的运动情况进行动力学仿真,实时根据所采集的操作传感器数据得出驾驶建议进行提醒,通过扬声器发出语音信号告知驾驶者。
5.根据权利要求4所述的一种驾驶培训智能教练系统,其特征在于:所述实时识别驾驶者的驾驶操作并提醒,包含以下过程:
(1)计算机对摄像头采集的图像信息进行处理,分割出图像中的人脸、手或者脚,进而得到驾驶者脸部的朝向、双手的位置和脚的位置;
(2)依据已构建常见驾驶陋习图像模板库判断驾驶者的驾驶操作是否为驾驶陋习;
(3)根据判断结果,通过扬声器发出预先储存的语音信号,提醒驾驶者更正驾驶陋习。
6.根据权利要求4所述的一种驾驶培训智能教练系统,其特征在于:
所述对车辆的运动情况进行动力学仿真,实时根据所采集的操作传感器数据得出驾驶建议进行提醒,包含以下过程:
(1)计算机内预先搭建与驾驶模拟器中驾驶场景同步相同的虚拟场景,并建立与驾驶模拟器中虚拟车辆的运动同步的车辆动力学仿真模型;
(2)驾驶者选择驾驶模拟器上的场景进行模拟训练时,计算机上搭建的虚拟场景和车辆动力学仿真模型分别与驾驶模拟器中的驾驶场景和虚拟车辆保持同步;
(3)计算机根据虚拟场景中车辆的起始位置与目标位置,通过路径优化拟定一条车辆行驶的预期轨迹,在预期轨迹上设定驾驶拐点和等间隔设定特征点;
(4)用数据采集卡实时间隔采集操作传感器的电信号,计算机将数据采集卡接收的电信号输入到车辆动力学仿真模型,计算当前时刻车辆的位置、方向和速度的情况;
(5)当虚拟场景中车辆到达某一特征点附近时,根据当前时刻下方向盘角位移、刹车和油门踏板的位置,结合当前车辆的行进速度、方向和位置计算估计当前时刻到下一时刻的行进轨迹及下一时刻的目标位置;
(6)将行进轨迹与预期轨迹之间的夹角和轨迹角度阈值进行比较判断,行进轨迹与预期轨迹之间的夹角为当前车辆位置和下一时刻的目标位置的连线与当前车辆位置和下一特征点的连线之间的夹角:
若行进轨迹与预期轨迹之间的夹角超过轨迹角度阈值,则以下一特征点为行进目标点,通过扬声器播放音频信号发送给驾驶者,提醒驾驶者实时控制方向盘偏转与行进轨迹与预期轨迹之间夹角对应的旋转角度;
若行进轨迹与预期轨迹之间的夹角未超过轨迹角度阈值时,则不对驾驶者作出任何提醒;
(7)根据当前车辆位置和驾驶拐点的位置判断处理:
根据当前车辆位置和预期轨迹上调头拐点的位置之间是否小于距离阈值,判断是否存在车辆调头情况;根据当前车辆位置和预期轨迹上的停止点的位置之间是否小于距离阈值,判断是否存在车辆停车情况;根据当前车辆位置和预期轨迹上的转弯拐点的位置之间是否小于距离阈值,判断是否存在车辆转弯情况;再根据是否存在车辆调头情况,则通过扬声器播放音频信号发送给驾驶者,提醒驾驶者换挡减速或调整灯光。
CN201710851836.6A 2017-09-19 2017-09-19 一种驾驶培训智能教练系统 Active CN107545803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710851836.6A CN107545803B (zh) 2017-09-19 2017-09-19 一种驾驶培训智能教练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710851836.6A CN107545803B (zh) 2017-09-19 2017-09-19 一种驾驶培训智能教练系统

Publications (2)

Publication Number Publication Date
CN107545803A true CN107545803A (zh) 2018-01-05
CN107545803B CN107545803B (zh) 2019-12-10

Family

ID=60963931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710851836.6A Active CN107545803B (zh) 2017-09-19 2017-09-19 一种驾驶培训智能教练系统

Country Status (1)

Country Link
CN (1) CN107545803B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108275157A (zh) * 2018-04-04 2018-07-13 湖北文理学院 一种驾驶行为检测系统及方法
CN108961682A (zh) * 2018-07-25 2018-12-07 湖南德禾农业电商科技有限公司 一种客运车辆安全管理监测系统
CN109949653A (zh) * 2019-03-28 2019-06-28 珠海超凡视界科技有限公司 一种驾驶培训数据分析装置及方法
CN110136536A (zh) * 2019-05-16 2019-08-16 珠海超凡视界科技有限公司 一种基于vr的机动车驾驶习惯培养系统及方法
CN110275609A (zh) * 2019-05-16 2019-09-24 珠海超凡视界科技有限公司 一种基于vr的手刹交互系统、方法及装置
CN110288875A (zh) * 2019-05-16 2019-09-27 珠海超凡视界科技有限公司 一种基于vr的方向盘交互系统、方法及装置
CN110544409A (zh) * 2019-10-11 2019-12-06 广州英卓电子科技有限公司 一种个性化驾驶员培训系统及其教学方法
CN111047948A (zh) * 2019-11-27 2020-04-21 康忠文 一种学车辅助方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251958A (zh) * 2007-07-06 2008-08-27 浙江大学 面向训练的汽车驾驶模拟机实现方法
CN101530329A (zh) * 2009-03-06 2009-09-16 北京理工大学 半实物驾驶疲劳视景仿真系统平台
CN106251724A (zh) * 2016-10-10 2016-12-21 北京高途智驾科技有限公司 一种驾驶员智能教学机器人系统
CN106548679A (zh) * 2016-02-03 2017-03-29 北京易驾佳信息科技有限公司 一种智能驾驶训练系统
CN106650975A (zh) * 2017-02-27 2017-05-10 云南青才信息科技有限公司 一种机动车驾驶员计时培训系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251958A (zh) * 2007-07-06 2008-08-27 浙江大学 面向训练的汽车驾驶模拟机实现方法
CN101530329A (zh) * 2009-03-06 2009-09-16 北京理工大学 半实物驾驶疲劳视景仿真系统平台
CN106548679A (zh) * 2016-02-03 2017-03-29 北京易驾佳信息科技有限公司 一种智能驾驶训练系统
CN106251724A (zh) * 2016-10-10 2016-12-21 北京高途智驾科技有限公司 一种驾驶员智能教学机器人系统
CN106650975A (zh) * 2017-02-27 2017-05-10 云南青才信息科技有限公司 一种机动车驾驶员计时培训系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108275157A (zh) * 2018-04-04 2018-07-13 湖北文理学院 一种驾驶行为检测系统及方法
CN108961682A (zh) * 2018-07-25 2018-12-07 湖南德禾农业电商科技有限公司 一种客运车辆安全管理监测系统
CN109949653A (zh) * 2019-03-28 2019-06-28 珠海超凡视界科技有限公司 一种驾驶培训数据分析装置及方法
CN110136536A (zh) * 2019-05-16 2019-08-16 珠海超凡视界科技有限公司 一种基于vr的机动车驾驶习惯培养系统及方法
CN110275609A (zh) * 2019-05-16 2019-09-24 珠海超凡视界科技有限公司 一种基于vr的手刹交互系统、方法及装置
CN110288875A (zh) * 2019-05-16 2019-09-27 珠海超凡视界科技有限公司 一种基于vr的方向盘交互系统、方法及装置
CN110544409A (zh) * 2019-10-11 2019-12-06 广州英卓电子科技有限公司 一种个性化驾驶员培训系统及其教学方法
CN111047948A (zh) * 2019-11-27 2020-04-21 康忠文 一种学车辅助方法及系统

Also Published As

Publication number Publication date
CN107545803B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN107545803A (zh) 一种驾驶培训智能教练系统
CN107527531A (zh) 一种智能分布式驾驶模拟训练共享网络系统
EP3159775B1 (en) Tactile based performance enhancement system
CN104421422B (zh) 用于控制车辆中自动变速器的换档的方法
JP2012022041A (ja) 車両用運転技量育成装置
CN106163858A (zh) 车辆用信息呈现装置
JP2018181269A5 (zh)
CN106540409A (zh) 一种基于实景地图的健身自行车及健身方法
CN110320905A (zh) 车辆控制装置
CN206965132U (zh) 一种玩具轨道赛车的控制系统
CN209188074U (zh) 一种领跑器
JP2015064584A (ja) ドライバ感情推定装置及び方法
JP6086515B1 (ja) 運転技量評価装置、サーバ装置、運転技量評価システム、プログラムおよび運転技量評価方法
CN107650947A (zh) 列车主控制器操纵提示系统
CN110015300A (zh) 车辆用控制装置
CN108806366A (zh) 一种基于大数据分析的智能汽车驾驶教学方法及其系统
JP2019070763A (ja) 教習用車両
CN116353617A (zh) 驾驶技能优化及评估的方法和车辆以及计算机存储介质
US20200020177A1 (en) System and method for assisting in the start of a motor vehicle race
JP2007215750A (ja) 鉄道運転シミュレーションゲームシステムおよび該システムに用いられるゲーム機およびサーバ装置
CN110910688A (zh) 一种骑行交通规则教育装置及教育系统
JP2008064774A (ja) 運転教習支援装置
JP2006326248A (ja) トレ−ニング装置
CN105636656B (zh) 用于运动模拟环境的调光器
Kim et al. Implementation of an impact position display system of golf ball using an image processing in an indoor golf course

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant