CN107134192B - 用于教学开车的汽车驾驶vr系统 - Google Patents

用于教学开车的汽车驾驶vr系统 Download PDF

Info

Publication number
CN107134192B
CN107134192B CN201710422433.XA CN201710422433A CN107134192B CN 107134192 B CN107134192 B CN 107134192B CN 201710422433 A CN201710422433 A CN 201710422433A CN 107134192 B CN107134192 B CN 107134192B
Authority
CN
China
Prior art keywords
driver
driving
wear
multimedia
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710422433.XA
Other languages
English (en)
Other versions
CN107134192A (zh
Inventor
徐彬
田慧盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Storage Mdt Infotech Ltd
Original Assignee
Shanghai Storage Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Storage Mdt Infotech Ltd filed Critical Shanghai Storage Mdt Infotech Ltd
Priority to CN201710422433.XA priority Critical patent/CN107134192B/zh
Publication of CN107134192A publication Critical patent/CN107134192A/zh
Application granted granted Critical
Publication of CN107134192B publication Critical patent/CN107134192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种用于教学开车的汽车驾驶VR系统，包括：头戴式多媒体，用于向用户提供模拟虚拟的多媒体驾驶场景；操纵装置，其具有汽车驾驶操纵装置的机械结构，用于接受驾驶员的点火转向加速刹车打灯启用空调刮雨器的汽车驾驶操作；传感器，安装在所述操纵装置上，用于采集驾驶员的汽车驾驶操作；摄像头，用于实时地持续采集驾驶员的面部图像；筛选器，用于定时地从采集的面部图像中筛选最优图像；反应分析器，用于从最优图像中识别驾驶员的驾驶反应；控制器，用于根据采集的汽车驾驶操作和识别的驾驶反应，驱动头戴式多媒体提供相应的多媒体驾驶场景。

Description

用于教学开车的汽车驾驶VR系统
技术领域
本发明涉及汽车技术领域，具体涉及一种用于教学开车的汽车驾驶VR系统。
背景技术
对学员因材施教是教学开车的核心。常规的方式是设置驾校教练手把手一对一，师父带徒弟的方式来教会学员开车。
随着人力成本逐渐上升，这种方式成本非常高昂。而且随着经济发展，社会上学开车的需求正在井喷式增长，驾校这种传统教学模式远远跟不上学员的增长速度。
发明内容
针对上述问题，本发明提供一种用于教学开车的汽车驾驶VR系统。
本发明的目的采用以下技术方案来实现：
本发明提供了一种用于教学开车的汽车驾驶VR系统，包括：头戴式多媒体，用于向用户提供模拟虚拟的多媒体驾驶场景；操纵装置，其具有汽车驾驶操纵装置的机械结构，用于接受驾驶员的点火转向加速刹车打灯启用空调刮雨器的汽车驾驶操作；传感器，安装在所述操纵装置上，用于采集驾驶员的汽车驾驶操作；摄像头，用于实时地持续采集驾驶员的面部图像；筛选器，用于定时地从采集的面部图像中筛选最优图像；反应分析器，用于从最优图像中识别驾驶员的驾驶反应；控制器，用于根据采集的汽车驾驶操作和识别的驾驶反应，驱动头戴式多媒体提供相应的多媒体驾驶场景。
本发明的有益效果为：相关技术中，驾校教练通过手把手一对一，师父带徒弟的方式来教会学员开车，这样的人力成本很高，而且这种传统教学模式远远跟不上学员的增长速度。而本发明的用于教学开车的汽车驾驶VR系统能够代替驾校教练来进行开车教学，甚至能取得比驾校教练更好的训练效果。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1示出了根据本发明一个实施例的用于教学开车的汽车驾驶VR系统的示意图。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，一种用于教学开车的汽车驾驶VR系统，其包括：
头戴式多媒体10，用于向用户提供模拟虚拟的多媒体驾驶场景；
操纵装置20，其具有汽车驾驶操纵装置的机械结构，用于接受驾驶员的点火转向加速刹车打灯启用空调刮雨器的汽车驾驶操作；
传感器30，安装在所述操纵装置20上，用于采集驾驶员的汽车驾驶操作；
摄像头40，用于实时地持续采集驾驶员的面部图像；
筛选器50，用于定时地从采集的面部图像中筛选最优图像；
反应分析器60，用于从最优图像中识别驾驶员的驾驶反应；
控制器70，用于根据采集的汽车驾驶操作和识别的驾驶反应，驱动头戴式多媒体10提供相应的多媒体驾驶场景。
相关技术中，驾校教练通过手把手一对一，师父带徒弟的方式来教会学员开车，这样的人力成本很高，而且这种传统教学模式远远跟不上学员的增长速度。而本发明的用于教学开车的汽车驾驶VR系统能够代替驾校教练来进行开车教学，甚至能取得比驾校教练更好的训练效果。
优选的，汽车驾驶VR系统还包括：
心跳传感器，安装在方向盘上，用于检测驾驶员的心跳；
体温传感器，安装在方向盘上，用于检测驾驶员的体温；
反应分析器还用于结合心跳和体温，进一步确定驾驶员的驾驶反应。
心跳和体温都能反映学员的情绪，例如心跳和体温都迅速上升，这说明学员处于高度紧张的状态。本优选实施例通过结合对心跳和体温的检测分析，能进一步提高对驾驶员的驾驶反应的分析精度。
优选的，筛选器包括：
分组单元：用于实时地将摄像头一段时间内获取的连续n帧拍摄照片构成一组，然后接着构建下一组；
评估单元，用于对于一组中的每帧照片计算图像质量度如下：
Ti为一组的n帧拍摄照片中第i张照片的评估值，n为从摄像头获取的多帧照片的数量、βi为分别第i张照片的设定区域的平均灰度值，vi为第i张照片的边缘锐度、β为根据实际情况设定的灰度值阈值，ν为根据实际情况设定的边缘锐度阈值，为多帧照片的平均灰度值，为多帧照片的平均边缘锐度；
最优单元，用于确定Ti最大的照片为该组中的最优图像。
本优选实施例通过筛选图片，使得反应分析器要分析识别的图像数量大幅度减少，从而使得VR系统的运算量能够大幅降低，从而能够实现实时分析，使驾驶学院的体验大幅上升。
本优选实施例中，筛选函数考虑了边缘锐度和灰度值因素，这相比于仅通过一个特征来评价图像质量，取得了更准确的评价结果，因此能够筛选出综合质量较高的图像，这简化了图像筛选的运算量，大幅提高了图像筛选的效率。
优选的，分组单元根据反应分析器的计算能力以及摄像头拍照的分辨率确定n的大小，n与反应分析器的计算能力成反比，与摄像头的分辨率成反比。
本优选实施例通过n的设置，能够平衡考虑反应分析器的计算能力，还能够考虑到摄像头的分辨率，保证图像的清晰度既不太低，也不至于清晰度过剩。
优选的，反应分析器包括：
训练单元，用于在云平台的人脸大数据中选取N张人脸图像构建训练样本集Y[Y1,Y2,…,YN]，对训练样本集Y筛选构建最优训练样本集Y′，上传的最优图像作为测试样本X；
分割单元，用于将最优训练样本集Y′中的每副人脸图像平均分割成R个块，则该最优训练样本集被分割成R个子样本集Ap,p＝1,…,R，每个子样本集由每副人脸图像的第p个块构成；
加权单元，用于将测试样本X平均分成R个块，即X＝[Xp,p＝1,…,R]，对最优训练样本集和测试样本按照下述公式进行块加权：
式中，sp为最优训练样本集中所有人脸图像的第p个块的稀疏残差均值，s1、s2为设定的残差阈值，s1＜s2，f(sp)为判定函数，当sp＜s1时，f(sp)＝1，当sp＞v2时，f(sp)＝0；
式中，θp为最优训练样本集中的类间距离方差和类内距离方差的比值，θ1、θ2为设定的判别度阈值，θ1＜θ2，f(θp)为判定函数，当θp＜θ2时，f(θp)＝0，当θp＞θ1时，f(θp)＝1；
分类单元，用于用加权后的最优训练样本集对加权后的测试样本进行稀疏表示，计算其中每个类的重构残差，最终将测试样本分类为最小重构残差对应的类。
通过将测试样本和最优训练样本集中的人脸图像分割成块，可以更好地捕捉更具判别性的信息。具体而言，通过对最优训练样本集和测试样本进行块加权，能够更准确地选择出遮挡块和判别性块，避免了遮挡部位对识别人脸的影响，从而能够提高人脸表情的识别率，提高了对驾驶反应确定的准确度。
优选的，对训练样本集Y筛选构建最优训练样本集Y′包括：对训练样本集进行过滤预处理，保留对测试样本X的表示及分类影响大于预设值的训练样本，并利用保留的训练样本构建最优训练样本集Y′。
本优选实施例通过构建最优训练样本集，减少了训练量，从而提高了驾驶反应的识别速度。
优选的，构建最优训练样本集Y′具体包括：
(1)利用训练样本集Y对测试样本X进行线性表示，计算训练样本集Y中各训练样本向量的表示系数C＝[C1,C2,…,CN]T，其中，表示系数S的计算公式为：
C＝YTY(πE+YTY)-1
式中，E为单位矩阵，π为设定的系数；
(2)设训练样本集Y中共有M个类，第j个类中有nj个训练样本，计算每个类的重构残差为：
Fj为第j个类的重构残差，Ck表示第j个类中第k个训练样本对应的表示系数，Yj表示第j个类的训练样本集；
(3)选取前m个最小重构残差对应的类作为备选类，用该m个备选类构建近邻字典D[D1,D2,…,Dm]，Dj(j＝1,…,m)表示备选类中第j个类的训练样本集，用该备选类对测试样本X进行线性表示，计算近邻字典D中各备选类对应的表示系数：
C′＝DTY(γE+DTD)-1
式中，C′表示备选类对应的表示系数，C′＝[C1′,2′,…,SCm′]，Cj(j＝1,…,m)表示备选类中第j个类对应的表示系数；
(4)利用保留的训练样本构建最优训练样本集为：
Y′＝[CjYj k,k＝1,…,j,j＝1,…,m]
式中，Yj k表示第j个类的训练样本集中的第k个训练样本。
本优选实施例采用备选类对应的表示系数对该备选类的训练样本进行加权，权值越大则对应训练样本对测试样本的表示能力越强，因此构建的最优训练样本集能够更好地近似测试样本。发明人对于本优选实施例进行了大量的仿真实验，发现在取得了基本相同的驾驶反应识别率的情况下，计算量却节省了80％左右。
优选的，分析到驾驶员的反应为紧张情绪时，控制器驱动头戴式多媒体提供山路场景；分析到驾驶员的反应为放松情绪时，控制器驱动头戴式多媒体提供异常事件场景；分析到驾驶员的反应为过度专注前进方向时，控制器驱动头戴式多媒体提供侧向事件场景；分析到驾驶员的反应为过度专注侧向时，控制器驱动头戴式多媒体提供前进方向事件场景。
本优选实施例不仅仅能够教练那样观察学员的表情，而且还能相应地提供VR场景，进行针对性地训练，这对于传统真实驾驶教学而言，是完全不可想象的功能，因此极大地提高了学习效果。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (3)

1.一种用于教学开车的汽车驾驶VR系统，其特征是，包括：
头戴式多媒体，用于向用户提供模拟虚拟的多媒体驾驶场景；操纵装置，其具有汽车驾驶操纵装置的机械结构，用于接受驾驶员的点火、转向、加速、刹车打灯、启用空调和/或刮雨器的汽车驾驶操作；
传感器，安装在所述操纵装置上，用于采集驾驶员的汽车驾驶操作；摄像头，用于实时地持续采集驾驶员的面部图像；筛选器，用于定时地从采集的面部图像中筛选最优图像；
反应分析器，用于从最优图像中识别驾驶员的驾驶反应；控制器，用于根据采集的汽车驾驶操作和识别的驾驶反应，驱动头戴式多媒体提供相应的多媒体驾驶场景；心跳传感器，安装在方向盘上，用于检测驾驶员的心跳；
体温传感器，安装在方向盘上，用于检测驾驶员的体温；
反应分析器还用于结合心跳和体温，进一步确定驾驶员的驾驶反应；其中，筛选器包括：
分组单元：用于实时地将摄像头一段时间内获取的连续n帧拍摄照片构成一组，然后接着构建下一组；评估单元，用于对于一组中的每帧照片计算图像质量度如下：
Ti为一组的n帧拍摄照片中第i张照片的评估值，n为从摄像头获取的多帧照片的数量，βi为第i张照
片的设定区域的平均灰度值，vi为第i张照片的边缘锐度，β为根据实际情况设定的灰度值阈值，v为根据实际情况设定的边缘锐度阈值，为多帧照片的平均灰度值，为多帧照片的平均边缘锐度；
最优单元，用于确定Ti最大的照片为该组中的最优图像。
2.根据权利要求1所述的汽车驾驶VR系统，其特征是，分组单元根据反应分析器的计算能力以及摄像头拍照的分辨率确定n的大小，n与反应分析器的计算能力成反比，与摄像头的分辨率成反比。
3.根据权利要求2所述的汽车驾驶VR系统，其特征在于，分析到驾驶员的反应为紧张情绪时，控制器驱动头戴式多媒体提供山路场景；分析到驾驶员的反应为放松情绪时，控制器驱动头戴式多媒体提供异常事件场景；分析到驾驶员的反应为过度专注前进方向时，控制器驱动头戴式多媒体提供侧向事件场景；分析到驾驶员的反应为过度专注侧向时，控制器驱动头戴式多媒体提供前进方向事件场景。
CN201710422433.XA 2017-06-07 2017-06-07 用于教学开车的汽车驾驶vr系统 Active CN107134192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710422433.XA CN107134192B (zh) 2017-06-07 2017-06-07 用于教学开车的汽车驾驶vr系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710422433.XA CN107134192B (zh) 2017-06-07 2017-06-07 用于教学开车的汽车驾驶vr系统

Publications (2)

Publication Number Publication Date
CN107134192A CN107134192A (zh) 2017-09-05
CN107134192B true CN107134192B (zh) 2018-07-20

Family

ID=59734457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710422433.XA Active CN107134192B (zh) 2017-06-07 2017-06-07 用于教学开车的汽车驾驶vr系统

Country Status (1)

Country Link
CN (1) CN107134192B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986589A (zh) * 2018-08-31 2018-12-11 苏州竹原信息科技有限公司 一种基于虚拟现实的游艇驾驶培训系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009269551A (ja) * 2008-05-09 2009-11-19 Calsonic Kansei Corp 車両用表示装置
CN105523042A (zh) * 2014-09-23 2016-04-27 通用汽车环球科技运作有限责任公司 性能驾驶系统和方法
CN106205273A (zh) * 2016-09-20 2016-12-07 山西省交通科学研究院 一种基于vr模拟技术的汽车驾驶模拟系统及方法
CN106448337A (zh) * 2016-09-20 2017-02-22 山西省交通科学研究院 一种基于vr技术的汽车驾驶模拟装置
CN106652643A (zh) * 2016-10-12 2017-05-10 大连文森特软件科技有限公司 一种基于虚拟现实技术的驾驶训练仿真系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009269551A (ja) * 2008-05-09 2009-11-19 Calsonic Kansei Corp 車両用表示装置
CN105523042A (zh) * 2014-09-23 2016-04-27 通用汽车环球科技运作有限责任公司 性能驾驶系统和方法
CN106205273A (zh) * 2016-09-20 2016-12-07 山西省交通科学研究院 一种基于vr模拟技术的汽车驾驶模拟系统及方法
CN106448337A (zh) * 2016-09-20 2017-02-22 山西省交通科学研究院 一种基于vr技术的汽车驾驶模拟装置
CN106652643A (zh) * 2016-10-12 2017-05-10 大连文森特软件科技有限公司 一种基于虚拟现实技术的驾驶训练仿真系统

Also Published As

Publication number Publication date
CN107134192A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
JP6892558B2 (ja) 教学補助方法およびその方法を採用する教学補助システム
Mathe et al. Actions in the eye: Dynamic gaze datasets and learnt saliency models for visual recognition
US8636361B2 (en) Learning-based visual attention prediction system and method thereof
CN101339655B (zh) 基于目标特征和贝叶斯滤波的视觉跟踪方法
Mathe et al. Dynamic eye movement datasets and learnt saliency models for visual action recognition
CN109816698A (zh) 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法
CN106934374A (zh) 一种雾霾场景中交通标识牌的识别方法及系统
CN107134192B (zh) 用于教学开车的汽车驾驶vr系统
CN110532925A (zh) 基于时空图卷积网络的驾驶员疲劳检测方法
CN116563738A (zh) 一种基于不确定性的多阶段引导的小目标半监督学习检测方法
Tang et al. Automatic facial expression analysis of students in teaching environments
Zheng et al. Attention assessment based on multi‐view classroom behaviour recognition
Thomas et al. Smart car parking system using convolutional neural network
CN113989608A (zh) 基于顶部视觉的学生实验课堂行为识别方法
CN112784487B (zh) 飞行动作识别方法和装置
Gao et al. An object detection research method based on CARLA simulation
CN106355329A (zh) 驾驶员对标能力的测试方法与系统
CN102510436A (zh) 高速微小目标仿蝇视觉在线实时检测装置及检测方法
DE102014208272A1 (de) Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung
CN107317846B (zh) 基于云平台的车辆管理系统
CN110705854A (zh) 一种驾驶水平评估方法及系统
CN115482483A (zh) 一种交通视频目标跟踪装置、方法及存储介质
CN112464750B (zh) 一种基于深度学习的车牌特征点检测方法
CN115359649A (zh) 一种基于能见度识别的易发团雾路段动态限速系统及方法
CN112274154B (zh) 基于脑电样本权重调整的跨被试疲劳驾驶分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant