CN107369354B - 基于虚拟现实技术的汽车驾驶模拟装置 - Google Patents

Abstract

本发明提供了一种基于虚拟现实技术的汽车驾驶模拟装置，包括：头戴式多媒体，用于向用户提供模拟虚拟的多媒体驾驶场景；操纵装置，其具有汽车驾驶操纵装置的机械结构，用于接受驾驶员的点火转向加速刹车打灯启用空调刮雨器的汽车驾驶操作；传感器，安装在所述操纵装置上，用于采集驾驶员的汽车驾驶操作；摄像头，用于采集驾驶员的面部图像；反应分析器，用于从面部图像中识别驾驶员的驾驶反应；控制器，用于根据采集的汽车驾驶操作和识别的驾驶反应，驱动头戴式多媒体提供相应的多媒体驾驶场景。

Description

基于虚拟现实技术的汽车驾驶模拟装置

技术领域

本发明涉及汽车技术领域，具体涉及一种基于VR(虚拟现实)技术的汽车驾驶模拟装置。

背景技术

现如今，汽车已成为人们日常生活中必不可少的一种交通工具，并且随着生活水平的不断提高，越来越多的人加入了汽车驾驶的行列，然而受到时间、场地、费用等诸多因素限制，驾校规模容量已经远远容不下学员的增长速度。

模拟驾驶系统收到广大人群喜爱。目前，比较常见的模拟驾驶系统可分为两类：一类是需要额外硬件设备配合使用的汽车模拟驾驶系统，另一类是纯软件而无使用任何硬件设备的汽车模拟驾驶系统。前者虽然可以与真实的驾驶环境相接近，但是成本较高，不易于普及。而后者仅仅是一款软件，通过键盘和鼠标来操控汽车，因而可操作性不强。

发明内容

针对上述问题，本发明旨在提供一种基于虚拟现实技术的汽车驾驶模拟装置。

本发明提供了一种基于虚拟现实技术的汽车驾驶模拟装置，包括：头戴式多媒体，用于向用户提供模拟虚拟的多媒体驾驶场景；操纵装置，其具有汽车驾驶操纵装置的机械结构，用于接受驾驶员的点火转向加速刹车打灯启用空调刮雨器的汽车驾驶操作；传感器，安装在所述操纵装置上，用于采集驾驶员的汽车驾驶操作；摄像头，用于采集驾驶员的面部图像；反应分析器，用于从面部图像中识别驾驶员的驾驶反应；控制器，用于根据采集的汽车驾驶操作和识别的驾驶反应，驱动头戴式多媒体提供相应的多媒体驾驶场景。

相关技术中，基于VR技术的汽车驾驶模拟装置只能根据驾驶员的实际操作来训练驾驶员，但因为不能像驾校教练那样观察学员的眼神态度等主观因素，所以并不能完全替代驾校教练。而本发明的基于VR技术的汽车驾驶模拟装置能够观察分析驾驶员的面部表情，从而给出相应的虚拟场景，所以甚至能取得比驾校教练更好的训练效果。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1示出了根据本发明一个实施例的基于VR技术的汽车驾驶模拟装置的结构示意图。

具体实施方式

结合以下实施例对本发明作进一步描述。

图1示出了根据本发明一个实施例的基于VR技术的汽车驾驶模拟装置的结构示意图，包括：

头戴式多媒体10，用于向用户提供模拟虚拟的多媒体驾驶场景；

操纵装置20，其具有汽车驾驶操纵装置的机械结构，用于接受驾驶员的点火转向加速刹车打灯启用空调刮雨器的汽车驾驶操作；

传感器30，安装在所述操纵装置20上，用于采集驾驶员的汽车驾驶操作；

摄像头40，用于采集驾驶员的面部图像；

反应分析器50，用于从面部图像中识别驾驶员的驾驶反应；

控制器60，用于根据采集的汽车驾驶操作和识别的驾驶反应，驱动头戴式多媒体10提供相应的多媒体驾驶场景。

相关技术中，基于VR技术的汽车驾驶模拟装置只能根据驾驶员的实际操作来训练驾驶员，但因为不能像驾校教练那样观察学员的眼神态度等主观因素，所以并不能完全替代驾校教练。而本发明的基于VR技术的汽车驾驶模拟装置能够观察分析驾驶员的面部表情，从而给出相应的虚拟场景，所以甚至能取得比驾校教练更好的训练效果。

优选的，反应分析器包括:

图像优化单元，用于将摄像头采集的面部图像进行优化；

分析单元，用于将优化的面部图像与预存的面部反应图像进行比对，以确定具体的驾驶反应。

本优选实施例在分析驾驶反应之前，先对图像做优化处理，因此能够提高分析的准确度。

优选的，图像优化单元包括：

灰度单元，用于在灰度空间对面部图像进行处理；

彩色单元，用于在彩色空间对面部图像进行处理；

择优单元，用于选择灰度单元和彩色单元中较优的处理结果。

夜间和白天时，驾驶室内的光照度有很大的区别。阴天与晴天，亮度也有很大的区别。在光线充足时和光线不足时，有可能采集灰度图像质量更高，也有可能采集彩色图像质量更高。而本优选实施例同时从灰度和彩色两种模式来分析图像，然后择优选择质量更好的图像，有利于提高面部表情的识别率。

优选的，所述灰度单元包括：

灰度初始处理单元，用于将面部图像作为原稿A′(x,y)，对原稿进行傅利叶变换得到频率域，然后在频率域进行低通滤波，得到灰度初始稿B(x,y)；

灰度定稿处理单元，用于将原稿与灰度初始稿进行如下处理：

式中，G(x,y)为灰度定稿，为原稿灰度均值，F为拉伸参数，γ为图像的灰度域。

优选实施例中，灰度单元采用了发明人独创的算法对原稿进行处理，尤其是采用拉伸参数来根据用户的需求对图像的对比度进行拉伸，而传统算法中，图像的整体反差较小，灰度值的动态范围也较小，所以灰度处理结果不够理想。相比传统算法，本优选实施例同时提高了图像的细节反差和整体反差，在大量测试中均取得了更优的灰度处理结果。

优选的，所述彩色单元包括：

彩色初始单元：用于采用倒圆锥模型在HSV空间中描述原稿，设置倒圆锥模型的轴线方向为HSV空间中的V分量，顶部的圆心为白色，最低点为黑色，竖直轴为白色和黑色之间的过渡色，顶部的圆平面为光强度最大的点，圆锥的任一横向圆切面的径向为饱和度，圆心处饱和度为0，圆周处饱和度为1，圆切面的圆周向的角度为HSV空间中的H分量；

彩色改进单元：用于采用小波域改进对S分量和V分量进行处理，具体为：

对S分量和V分量进行二维小波变换，将图像分解为4个相同大小的子带区域，进一步对子带区域进行二维小波变换，直到得到预设的小波尺度为止，从而得到S分量和V分量在小波域中的近似系数和不同层次的细节系数，公式如下：

δ′(x,y)＝0.14μ[δ(x,y)-i]²+μδ(x,y)+i(1-μ)

式中，δ(x,y)为小波系数，δ′(x,y)为改进后的小波系数，i为该子带区域小波系数均值，μ为改进系数，μ∈[0,1)，表示对小波系数进行抑制，应用于小波分解后的近似系数，μ＞1，表示对小波系数进行增强，应用于小波分解后的细节系数，经过小波变换后，得到的近似系数表达了图像中的背景信息，而细节系数表达了图像中的细节信息，通过对细节系数进行增强，同时对S分量和V分量在小波域中的近似系数进行抑制，因此取得了整体背景光照均勾，细节反差突出的效果，这有利于提高识别面部表情的识别率；

彩色定稿单元，用于将图像进一步变换到RGB空间，公式如下：

式中，R、G、B分别为原稿RGB空间中的红色分量、绿色分量、蓝色分量，R′、G′、B′分别为处理后的图像RGB空间中的红色分量、绿色分量、蓝色分量，C、D为转换系数，max为原稿RGB空间中最大颜色分量，S、V分别为原稿HSV空间中的饱和度分量、亮度分量，S′、V′为小波改进后的饱和度分量、亮度分量。

本优选实施例对亮度和饱和度进行小波分解，因为在保持图像色调不变的前提下减少了一个分量的计算，所以减少了1/3计算量，这有利于提高处理速度，对于VR系统具有特别重要的意义。本优选实施例特别适用于VR技术这种具有海量数据而且要求实时反应的场景，能在VR应用中也获得较高的实时处理速度，从而能够快速地识别驾驶员表情，并迅速做出VR场景的反馈。

优选的，所述择优单元对灰度单元和彩色单元处理后的图像分别计算评估值如下：

式中，M、N分别为图像的行数和列数，S＝(M-1)×(N-1)，h(x,y)为图像第x行、第y列的灰度值，π为图像的灰度均值；

所述择优单元选择评估值较大的图像用于分析单元进行分析。

本优选实施例的择优单元通过计算图像的评估值来确定最优图像，从而当灰度图像较差，而彩色图像更优时，能够自动地切换到彩色图像中识别人脸。当灰度图像更优，而彩色图像较差时，则自动地切换到灰度图像中识别人脸。

采用这种模式，进一步可设置两个摄像头，一个摄像头专门用于采集灰度图像，而另一个摄像头专门采集彩色图像。

本优选实施例的评估值计算是发明人独创的算法，在大量的测试当中，发现本优选实施例实现了自动选择最优图像，从而进一步提高面部表情的识别率。

优选的，分析到驾驶员的反应为紧张情绪时，控制器驱动头戴式多媒体提供山路场景；分析到驾驶员的反应为放松情绪时，控制器驱动头戴式多媒体提供异常事件场景；分析到驾驶员的反应为过度专注前进方向时，控制器驱动头戴式多媒体提供侧向事件场景；分析到驾驶员的反应为过度专注侧向时，控制器驱动头戴式多媒体提供前进方向事件场景。

本优选实施例不仅仅能够教练那样观察学员的表情，而且还能相应地提供VR场景，进行针对性地训练，这对于传统真实驾驶教学，是完全不可想象的功能，因此极大地提高了学习效果。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (2)

1.一种基于虚拟现实技术的汽车驾驶模拟装置，其特征在于，包括：

头戴式多媒体，用于向用户提供模拟虚拟的多媒体驾驶场景；

操纵装置，其具有汽车驾驶操纵装置的机械结构，用于接受驾驶员的点火转向加速刹车打灯启用空调刮雨器的汽车驾驶操作；

传感器，安装在所述操纵装置上，用于采集驾驶员的汽车驾驶操作；

摄像头，用于采集驾驶员的面部图像；

反应分析器，用于从面部图像中识别驾驶员的驾驶反应；

控制器，用于根据采集的汽车驾驶操作和识别的驾驶反应，驱动头戴式多媒体提供相应的多媒体驾驶场景；

反应分析器包括:

图像优化单元，用于将摄像头采集的面部图像进行优化；

分析单元，用于将优化的面部图像与预存的面部反应图像进行比对，以确定具体的驾驶反应；

图像优化单元包括：

灰度单元，用于在灰度空间对面部图像进行处理；

彩色单元，用于在彩色空间对面部图像进行处理；

择优单元，用于选择灰度单元和彩色单元中较优的处理结果；

所述灰度单元包括：

灰度初始处理单元，用于将面部图像作为原稿A′(x,y)，对原稿进行傅利叶变换得到频率域，然后在频率域进行低通滤波，得到灰度初始稿B(x,y)；

灰度定稿处理单元，用于将原稿与灰度初始稿进行如下处理：

式中，G(x,y)为灰度定稿，为原稿灰度均值，F为拉伸参数，γ为图像的灰度域；

所述彩色单元包括：

彩色初始单元：用于采用倒圆锥模型在HSV空间中描述原稿，设置倒圆锥模型的轴线方向为HSV空间中的V分量，顶部的圆心为白色，最低点为黑色，竖直轴为白色和黑色之间的过渡色，顶部的圆平面为光强度最大的点，圆锥的任一横向圆切面的径向为饱和度，圆心处饱和度为0，圆周处饱和度为1，圆切面的圆周向的角度为HSV空间中的H分量；

彩色改进单元：用于采用小波域改进对S分量和V分量进行处理，具体为：

对S分量和V分量进行二维小波变换，将图像分解为4个相同大小的子带区域，进一步对子带区域进行二维小波变换，直到得到预设的小波尺度为止，从而得到S分量和V分量在小波域中的近似系数和不同层次的细节系数，公式如下：

δ′(x,y)＝0.14μ[δ(x,y)-i]²+μδ(x,y)+i(1-μ)

式中，δ(x,y)为小波系数，δ′(x,y)为改进后的小波系数，i为该子带区域小波系数均值，μ为改进系数，μ∈[0,1，表示对小波系数进行抑制，应用于小波分解后的近似系数，μ＞1，表示对小波系数进行增强，应用于小波分解后的细节系数；

彩色定稿单元，用于将图像进一步变换到RGB空间，公式如下：

式中，R、G、B分别为原稿RGB空间中的红色分量、绿色分量、蓝色分量，R′、G′、B′分别为处理后的图像RGB空间中的红色分量、绿色分量、蓝色分量，C、D为转换系数，max为原稿RGB空间中最大颜色分量，S、V分别为原稿HSV空间中的饱和度分量、亮度分量，S′、V′为小波改进后的饱和度分量、亮度分量；

所述择优单元对灰度单元和彩色单元处理后的图像分别计算评估值如下：

式中，M、N分别为图像的行数和列数，S＝(M-1)×(N-1)，h(x,y)为图像第x行、第y列的灰度值，π为图像的灰度均值；

所述择优单元选择评估值较大的图像用于分析单元进行分析。

2.根据权利要求1所述的汽车驾驶模拟装置，其特征在于，分析到驾驶员的反应为紧张情绪时，控制器驱动头戴式多媒体提供山路场景；分析到驾驶员的反应为放松情绪时，控制器驱动头戴式多媒体提供异常事件场景；分析到驾驶员的反应为过度专注前进方向时，控制器驱动头戴式多媒体提供侧向事件场景；分析到驾驶员的反应为过度专注侧向时，控制器驱动头戴式多媒体提供前进方向事件场景。