CN109658519A - 基于现实路况信息图像处理的车载多模式增强现实系统 - Google Patents

Abstract

本发明属于虚拟现实设备技术领域，具体涉及一种基于现实路况信息图像处理的车载多模式增强现实系统，该系统包括：用于采集实时路况的实时路况信息采集系统、用于图像识别与图像处理的图像识别与图像处理系统、用于显示虚拟现实模式的虚拟现实模式显示系统、用于安全提示及紧急处理的安全提示及紧急处理系统和中央处理器，本发明的优点是：实用性更强，可以在正常行驶途中体验不同的驾驶乐趣，驾驶感受模拟更逼真，与需要佩戴的虚拟现实设备相比，具备更全套的虚拟现实模拟系统，舒适性更强，安全性更高，具备安全提示及紧急处理系统，进一步提高了娱乐系统的安全性。

Description

基于现实路况信息图像处理的车载多模式增强现实系统

技术领域

本发明属于虚拟现实设备技术领域，具体涉及一种基于现实路况信息图像处理的车载多模式增强现实系统。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三围动态视景和实体行为的系统仿真使用户沉浸到该环境中,

目前，专利申请号为：201010107280.8，专利名称为：一种基于车载摄像机的虚拟现实体验系统，该发明公开了一种基于车载摄像机的虚拟现实体验系统，包括车载摄像机、图像处理计算机以及汽车仿真设备，的车载摄像机、图像处理计算机以及汽车仿真设备依次连接。该发明虽然有车载摄像头与图像处理系统，但是该发明是应用于驾驶模拟器上的，而且并不能进行实时的信息采集。

专利申请号为：201710067599.4，专利名称为：一种虚拟现实模拟驾驶装置，该发明属于虚拟现实设备技术领域，尤其涉及一种虚拟现实模拟驾驶装置。本发明要解决的技术问题是提供一种结构简单、真实感强、趣味性高的虚拟现实模拟驾驶装置。该发明提供了包括有圆形滑轨、滑块、安装板、旋转电机、滑轨、座椅、固定板、虚拟现实头盔等结构的驾驶装置。该发明主要是机械结构方面的设计，并未对虚拟现实方面的技术过多的描述与改进。

专利申请号为：201720326404.9，专利名称为：一种车载虚拟驾驶装置，该实用新型公开了一种车载虚拟驾驶装置，包括座椅、驾驶台、刹车踏板和加速踏板等。通过VR眼罩观测驾驶过程中的路径，进而可以通过刹车踏板和加速踏板进行调节驾驶过程中的行驶速度，使用者可以通过转动方向盘，使得驾驶过程中的方向可以被快速调节。该专利也是主要集中于结构的布置，并未对虚拟现实方面的技术过多的描述与改进。

专利申请号为：201610127118.X，专利名称为：一种虚拟现实娱乐驾驶的实现方法、装置及系统，该发明公开了一种虚拟现实娱乐驾驶的实现方法、装置及系统，通过实时采集驾驶载体的实际位置，从而根据实际位置以及驾驶载体之间的相对位置，生成相应的多用户互动的虚拟现实驾驶场景。该发明只是一种驾驶模拟器，并没有实时路况采集并实现车载的功能。

发明内容

本发明的目的是提供一种基于现实路况信息图像处理的车载多模式增强现实系统，用于驾驶员和乘坐者在正常行驶途中体验不同的驾驶或乘坐乐趣，以克服上述现有技术的不足。

本发明基于现实路况信息图像处理的车载多模式增强现实系统车载多模式增强现实系统，该系统包括：车载多模式增强现实系统用于将现实路况信息进行采集、分析与转换，转换为不同主题形式的行驶环境；

车载多模式增强现实系统包括：

用于采集实时路况的实时路况信息采集系统、用于图像识别与图像处理的图像识别与图像处理系统、用于显示虚拟现实模式的虚拟现实模式显示系统、用于安全提示及紧急处理的安全提示及紧急处理系统和用于控制实时路况信息采集系统、图像识别与图像处理系统、虚拟现实模式显示系统、安全提示及紧急处理系统的中央处理器；

中央处理器包括：

用于处理实时路况信息采集系统的图像识别模块；

用于处理虚拟现实模式显示系统的图像处理模块；

用于处理人机交互系统的人机交互处理模块；

用于处理超声波雷达、车速传感器信息和控制汽车制动系统执行器的紧急处理模块。

作为优选，实时路况信息采集系统包括：

位于驾驶员座椅靠背前侧、左侧和右侧的三个双目摄像头，双目摄像头通过可伸缩调节支架安装在驾驶员座椅靠背上与驾驶员视线高度相近的位置，三个双目摄像头用于驾驶员视觉感受路况信息的采集；

位于车辆顶部的信号灯识别摄像头，信号灯识别摄像头用于进行交通信号灯的识别；

位于车辆前侧与两侧的车道线识别摄像头，车道线识别摄像头用于车道线的识别。

作为优选，图像识别与图像处理系统包括：

用于将实时路况信息采集系统采集的图像信息数字化的图形和图像技术识别模块；

用于识别静态障碍物与动态交通信息的障碍物识别模块；

用于障碍物模拟与替换的图像处理及模拟模块。

作为优选，虚拟现实模式显示系统包括：

位于车前窗玻璃位置以及驾驶员两侧玻璃位置用于显示模拟场景的模拟场景显示器；

位于车内的光线模拟模块，空气模拟模块，温度模拟模块，湿度模拟模块，

光线模拟模块用于模拟相应主体场景的光线；

空气模拟模块用于模拟相应主体场景的空气；

温度模拟模块用于模拟相应主体场景的温度；

湿度模拟模块用于模拟相应主体场景的湿度。

作为优选，安全提示及紧急处理系统包括：

处理器评估模块，处理器评估模块用于评估所行驶路段是否适合娱乐模式；

位于车内中控台位置的人机交互系统，人机交互系统用于不同主题模式的切换，以及用于显示实际的实时路况信息；

位于车身周围呈环绕分布的至少12个超声波雷达，超声波雷达用于检测障碍物距离车身的距离信息；

位于车身上的车速传感器，车速传感器用于检测当前行驶状况下的车速。

本发明的优点及积极效果是：相对于驾驶模拟器来说，实用性更强，可以在正常行驶途中体验不同的驾驶乐趣，驾驶感受模拟更逼真，与需要佩戴的虚拟现实设备相比，具备更全套的虚拟现实模拟系统，舒适性更强，而且可以实时转换到现实路况下，安全性更高，具备安全提示及紧急处理系统，进一步提高了娱乐系统的安全性。

附图说明

图1是本发明的模式切换申请流程图。

图2是本发明的中央处理器工作流程图。

图3是本发明的图像识别与处理模块工作流程图。

图4是本发明的虚拟现实模拟模块的信号流向图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下，所获得的所有其它实施例，都属于本发明保护范围。

实施例1

参阅图1-4，本实施例中基于现实路况信息图像处理的车载多模式增强现实系统，包括：车载多模式增强现实系统，车载多模式增强现实系统用于将现实路况信息进行采集、分析与转换，转换为不同主题形式的行驶环境，例如，可以转换为赛道主题、沙滩主题或草原主题等不同的主题形式；具体转换过程需要以下各子系统的协同合作；

车载多模式增强现实系统包括：

用于采集实时路况的实时路况信息采集系统、用于图像识别与图像处理的图像识别与图像处理系统、用于显示虚拟现实模式的虚拟现实模式显示系统、用于安全提示及紧急处理的安全提示及紧急处理系统和用于控制实时路况信息采集系统、图像识别与图像处理系统、虚拟现实模式显示系统、安全提示及紧急处理系统的中央处理器；

实时路况信息采集系统：该系统主要是由摄像头进行实时的路况信息采集，位于驾驶员座椅上的可以使用ZED双目相机。并且为了使摄像头采集的图像信号与驾驶员观察到的视觉信号一致，在使用之前需要根据不同驾驶员进行摄像头坐标标定工作。同时需要安装在车辆顶部的摄像头进行交通信号灯的识别，以及安装在车辆前侧与两侧的RGB-D相机进行车道线的识别。

虚拟现实模式显示系统：可以使用OLED透明显示屏，在娱乐模式中显示信息，正常行驶时为透明状态

安全提示及紧急处理系统：安全提示主要是GPS全球定位系统信息网络实时的地图信息，交通信息及路况信息结合，在处理器中进行匹配与融合，看是否处在适合模式切换的路段。紧急处理系统车身周围布置的超声波雷达。

中央处理器包括：

用于处理实时路况信息采集系统的图像识别模块；

用于处理虚拟现实模式显示系统的图像处理模块；

用于处理人机交互系统的人机交互处理模块；

用于处理超声波雷达、车速传感器信息和控制汽车制动系统执行器的紧急处理模块。

本实施例中的实时路况信息采集系统包括：

位于驾驶员座椅靠背前侧、左侧和右侧的三个双目摄像头，双目摄像头通过可伸缩调节支架安装在驾驶员座椅靠背上与驾驶员视线高度相近的位置，三个双目摄像头用于驾驶员视觉感受路况信息的采集，由于需要障碍物的距离信息，因此使用双目摄像头，并且为了使双目摄像头采集的图像信号与驾驶员观察到的视觉信号一致，在使用之前需要根据不同驾驶员进行摄像头坐标标定工作；

位于车辆顶部的信号灯识别摄像头，信号灯识别摄像头用于进行交通信号灯的识别；

位于车辆前侧与两侧的车道线识别摄像头，车道线识别摄像头用于车道线的识别；

由于人眼的识别帧数为24帧/秒，因此只需要双目摄像头、信号灯识别摄像头、车道线识别摄像头采集路况图片的频率需要大于该频率。

本实施例中的图像识别与图像处理系统包括：

用于将实时路况信息采集系统采集的图像信息数字化的图形和图像技术识别模块；

用于识别静态障碍物与动态交通信息的障碍物识别模块；

用于障碍物模拟与替换的图像处理及模拟模块。

参阅图3，上述系统主要完成对不同障碍物的识别与分类，并将分类完的不同障碍物进行相应的处理与主题替换，具体识别和处理过程如下：首先将上述摄像头拍摄到的图片通过图像识别模块进行采集并进行数字化，并将数字化的图片传给中央处理器，处理器通过图形和图像技术识别模块将拍摄到的图片中的物体信息提取出来；图像处理及模拟模块的过程主要是完成对识别完的障碍物图形进行替代工作，障碍物识别模块是完成对识别完的障碍物图形进行分类；分类主要是将识别到的物体分为静态障碍物与动态交通信息，其中，静态障碍物通常为树木、交通信号灯、楼房建筑物等，动态交通信息通常为行人、车辆和交通信号灯等；由于行驶过程中车辆与车辆之间的交互基本上都发生在相邻的两条车道上，因此对于相邻车辆之间的行驶状况，只需实时显示相邻两车道的车辆信息即可。其余车道及周边环境信息可以通过图像处理及模拟模块进行相应主题环境的替换，并传输给中央处理器进行输出图像处理，中央处理器将处理后的图像通过数字信号传输给虚拟现实模式显示系统。

参阅图4，本实施例中的虚拟现实模式显示系统包括：

位于车前窗玻璃位置以及驾驶员两侧玻璃位置用于显示模拟场景的模拟场景显示器；

位于车内的光线模拟模块，空气模拟模块，温度模拟模块，湿度模拟模块，

光线模拟模块用于模拟相应主体场景的光线；

空气模拟模块用于模拟相应主体场景的空气；

温度模拟模块用于模拟相应主体场景的温度；

湿度模拟模块用于模拟相应主体场景的湿度。

参阅图1，本实施例中安全提示及紧急处理系统包括：

处理器评估模块，处理器评估模块用于评估所行驶路段是否适合娱乐模式，其中，处理器评估模块通过网络实时路况信息对娱乐模式中的适合模式切换、可以模式切换以及不建议模式切换进行评估，当实时路况适合模式切换，

处理器评估模块向中央处理器发送模拟开启信号；当实时路况可以模式切换，通过人机交互系统进行选择进行切换模式，然后处理器评估模块向中央处理器发送模拟开启信号；当实时路况不建议模式切换进行评估，处理器评估模块取消操作。

位于车内中控台位置的人机交互系统，人机交互系统用于不同主题模式的切换，以及用于显示实际的实时路况信息；

位于车身周围呈环绕分布的至少12个超声波雷达，超声波雷达用于检测障碍物距离车身的距离信息；

位于车身上的车速传感器，车速传感器用于检测当前行驶状况下的车速；

参阅图2，处理器评估模块向中央处理器发送模式切换信号，中央处理器处理是否有切换信号，无切换信号时中央处理器无操作，有切换信号时通过紧急处理模块进行是否需要控制制动系统执行器紧急制动，当无需制动时，中央处理器通过人机交互处理模块是否进行退出虚拟现实模式的操作，当不退出虚拟现实模式时，中央处理器通过图像识别模块控制双目摄像头、信号灯识别摄像头、车道线识别摄像头进行采集画面，通过图像处理模块处理转换到虚拟现实模式显示系统。

实施例2

参阅图1-4，本实施例中采用具有无人驾驶功能的车辆，娱乐模式主体以沙滩主题为例，当驾驶员通过人机交互系统切换到沙滩主题的娱乐模式下，安装在车上的实时路况信息采集的双目摄像头、信号灯识别摄像头及车道线识别摄像头便开始工作；将实时路况信息传输到中央处理器，通过处理器评估模块进行安全性的评估与判断后，经过图像识别与图像处理系统对实时路况信息进行处理，将处理后的信息传输到虚拟现实模式显示系统，此时车前窗玻璃以及驾驶员两侧的玻璃切换成可以显示不同景色的屏幕；将此时中央处理器处理之后的图像显示在屏幕上，完成相应的主题切换工作。中央处理器通过光线模拟模块，空气模拟模块，温度模拟模块及湿度模拟模块进行模拟不同主题下的光照，风速，温度与湿度等环境。

实施例3

参阅图1-4，本实施例中以沙滩主题为例，人机交互系统上显示本车道与相邻两车道间的道路与车辆实际信息外，车前窗玻璃位置以及驾驶员两侧玻璃位置用于显示模拟场景的模拟场景显示器上显示经图像处理及模拟模块进行模拟后的主体场景，图形和图像技术识别模块处理图片主要分为静态障碍物与动态障碍物；图像处理及模拟模块对静态障碍物与动态障碍物进行分别处理，静态障碍物处理主要是将静止的障碍物进行主题替换，例如，相邻两车道以外的车道与环境可以由海滩景色代替，道路两旁的树木及交通标识牌等障碍物可以由椰子树等代替，周围的建筑物等如果不在行驶道路上的可以忽略。动态障碍物处理主要是指将行人或交通信号等动态的交通状况进行实时的模拟与替换，例如，可以将行人在显示器上模拟为等距离等大小的在沙滩上玩耍的人、动物等。对于交通信号灯的模拟需要使用安装在车辆顶部与前侧的信号灯识别摄像头、车道线识别摄像头进行交通信号灯，以及车道线的识别，当识别到前方信号灯为红灯时，此时中央处理器会根据识别到的信号灯的信号与车道线的位置，在图像上的该位置区域进行相应的场景替换，例如，可以将红灯时的路口替换为一群抱着沙滩排球的孩子穿过马路，或者前方出现了一条水沟等。

Claims (5)

1.一种基于现实路况信息图像处理的车载多模式增强现实系统,其特征在于，包括：车载多模式增强现实系统，所述车载多模式增强现实系统用于将现实路况信息进行采集、分析与转换，转换为不同主题形式的行驶环境；

其中，所述车载多模式增强现实系统包括：

用于采集实时路况的实时路况信息采集系统，用于图像识别与图像处理的图像识别与图像处理系统，用于显示虚拟现实模式的虚拟现实模式显示系统，用于安全提示及紧急处理的安全提示及紧急处理系统，用于控制实时路况信息采集系统、图像识别与图像处理系统、虚拟现实模式显示系统、安全提示及紧急处理系统的中央处理器；

其中，所述中央处理器包括：

用于处理实时路况信息采集系统的图像识别模块；

用于处理虚拟现实模式显示系统的图像处理模块；

用于处理人机交互系统的人机交互处理模块；

用于处理超声波雷达、车速传感器信息和控制汽车制动系统执行器的紧急处理模块。

2.根据权利要求1所述的基于现实路况信息图像处理的车载多模式增强现实系统，其特征在于，所述实时路况信息采集系统包括：

位于驾驶员座椅靠背前侧、左侧和右侧的三个双目摄像头，所述双目摄像头通过可伸缩调节支架安装在所述驾驶员座椅靠背上与驾驶员视线高度相近的位置，三个所述双目摄像头用于驾驶员视觉感受路况信息的采集；

位于车辆顶部的信号灯识别摄像头，所述信号灯识别摄像头用于进行交通信号灯的识别；

位于车辆前侧与两侧的车道线识别摄像头，所述车道线识别摄像头用于车道线的识别。

3.根据权利要求1所述的基于现实路况信息图像处理的车载多模式增强现实系统，其特征在于，所述图像识别与图像处理系统包括：

用于将实时路况信息采集系统采集的图像信息数字化的图形和图像技术识别模块；

用于识别静态障碍物与动态交通信息的障碍物识别模块；

用于障碍物模拟与替换的图像处理及模拟模块。

4.根据权利要求1所述的基于现实路况信息图像处理的车载多模式增强现实系统，其特征在于，所述虚拟现实模式显示系统包括：

位于车前窗玻璃位置以及驾驶员两侧玻璃位置用于显示模拟场景的模拟场景显示器；

位于车内的光线模拟模块，空气模拟模块，温度模拟模块，湿度模拟模块，

所述光线模拟模块用于模拟相应主体场景的光线；

所述空气模拟模块用于模拟相应主体场景的空气；

所述温度模拟模块用于模拟相应主体场景的温度；

所述湿度模拟模块用于模拟相应主体场景的湿度。

5.根据权利要求1所述的基于现实路况信息图像处理的车载多模式增强现实系统，其特征在于，所述安全提示及紧急处理系统包括：

处理器评估模块，所述处理器评估模块用于评估所行驶路段是否适合娱乐模式；

位于车内中控台位置的人机交互系统，所述人机交互系统用于不同主题模式的切换，以及用于显示实际的实时路况信息；

位于车身周围呈环绕分布的至少12个超声波雷达，所述超声波雷达用于检测障碍物距离车身的距离信息；

位于车身上的车速传感器，所述车速传感器用于检测当前行驶状况下的车速。