CN113157098A - 一种大封闭空间沉浸式驾驶系统及控制方法 - Google Patents
一种大封闭空间沉浸式驾驶系统及控制方法 Download PDFInfo
- Publication number
- CN113157098A CN113157098A CN202110455361.5A CN202110455361A CN113157098A CN 113157098 A CN113157098 A CN 113157098A CN 202110455361 A CN202110455361 A CN 202110455361A CN 113157098 A CN113157098 A CN 113157098A
- Authority
- CN
- China
- Prior art keywords
- virtual
- real
- pilotable
- module
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种大封闭空间沉浸式驾驶系统,包括:交互系统,其包括在真实可驾驶设备的方向盘、刹车以及油门上均设置的电位器式传感器;位姿测量系统,其设置于真实可驾驶设备上并用于测量位姿信息;主机,其内设置有控制模块及VR场景渲染模块,所述控制模块接收位姿信息并控制虚拟场景中的虚拟可驾驶设备动作,使得虚拟场景中的虚拟可驾驶设备与真实可驾驶设备动作保持一致,所述VR场景渲染模块用于渲染整个VR场景;VR头戴式显示器接收所述VR场景渲染模块渲染的虚拟场景及虚拟可驾驶设备并显示。本发明还提供一种大封闭空间沉浸式驾驶系统的控制方法。本发明的系统及方法兼具真实可驾驶设备的驾驶感和虚拟可驾驶设备沉浸感、科技感、丰富性。
Description
技术领域
本发明涉及科技体育技术领域。更具体地说,本发明涉及一种大封闭空间沉浸式驾驶系统及控制方法。
背景技术
汽车运动是一种极具刺激性的竞技体育活动。汽车手体验汽车运动可以在平淡的生活中寻找到一点波澜,汽车运动是一种特别受年轻人喜欢的项目。虚拟现实(VirtualReality,虚拟现实)是一种用计算机模拟出来的虚拟世界,它能让体验者如身临其境一般,沉浸感极强。目前已经广泛应用于游戏娱乐和安全培训领域中。
现有的车载虚拟现实系统的侧重点在于提升乘客而非驾驶员的娱乐体验,忽视了驾驶员和虚拟场景的互动体验,同时也限制了虚拟现实系统在汽车驾驶方面的运用,如培训等。将驾驶员带入虚拟场景中将提升车载虚拟现实技术的沉浸感和掌控感,虚拟场景对现实车辆的反馈提高了体验的丰富性,并通过虚拟现实场景中额外的安全设置提升了驾驶的安全性能。
发明内容
本发明的一个目的是提供一种大封闭空间沉浸式驾驶系统及控制方法,相比于现有的车载虚拟现实系统,真实可驾驶设备驾驶感和科技感、丰富性兼具,并注重了安全性。
为了实现根据本发明的这些目的和其它优点,提供了一种大封闭空间沉浸式驾驶系统,包括:
交互系统,其包括在真实可驾驶设备的方向盘、刹车以及油门上均设置的电位器式传感器,其用于获取方向盘、刹车以及油门的转角值;
位姿测量系统,其设置于真实可驾驶设备上并用于测量真实可驾驶设备的位姿信息;
主机,其固定于真实可驾驶设备上,所述主机内设置有控制模块及VR场景渲染模块,所述控制模块与所述交互系统的各个电位器式传感器以及位姿测量系统均连接,并接收方向盘、刹车以及油门的转角值以及真实可驾驶设备的位姿信息,根据获得的方向盘、刹车以及油门的转角值以及真实可驾驶设备的位姿信息对VR场景渲染模块中的虚拟场景中的虚拟可驾驶设备动作,使得虚拟场景中的虚拟可驾驶设备与真实可驾驶设备动作保持一致;所述VR场景渲染模块用于渲染VR场景;
VR头戴式显示器,其佩戴于驾驶员的头部,所述VR头戴式显示器接收所述VR场景渲染模块渲染的虚拟场景及虚拟可驾驶设备并显示。
优选的是,还包括姿态测量系统,其包括设置于VR头戴式显示器上的重力感应器和设置于真实可驾驶设备上的激光探测器,姿态测量系统用于在真实可驾驶设备运行过程中测量驾驶员的姿态信息,并将此信息传输给控制模块,通过控制模块对VR场景渲染模块中的虚拟场景中的虚拟可驾驶设备的虚拟驾驶员动作。
优选的是,所述交互系统还包括在真实可驾驶设备的悬架上设置的电位器式传感器,其用于获取悬架的振动值。
优选的是,所述位姿测量系统通过场地内的基站和真实可驾驶设备上的超宽带UWB位置标签获得真实可驾驶设备的位置信息,同时整合交互系统各传感器信息,得出设备的姿态信息。
优选的是,所述VR场景渲染模块中设置多个渲染场景,且多个渲染场景中的虚拟赛道和真实可驾驶设备所跑的赛道保持一致。
优选的是,还包括供电系统,其用于给主机、VR头戴式显示器、姿态测量系统及位姿测量系统供电。
优选的是,所述方向盘上设置有旋钮按键,其用于控制多个渲染场景的切换,用于人机交互。
优选的是,所述位姿测量系统测量的真实可驾驶设备的位姿信息包括地理位置及真实可驾驶设备的俯仰角、横滚角、偏航角、线性速度、角速度姿态信息。
优选的是,所述主机的控制模块内还设置有算法模块,所述控制模块还接收VR场景渲染模块提供的虚拟场景赛道内虚拟可驾驶设备的当前位姿信息,所述算法模块将虚拟可驾驶设备的位姿信息与真实可驾驶设备的位姿信息及方向盘、刹车及油门的转角值进行计算比较得出虚拟可驾驶设备需要调整的方向盘、刹车及油门的转角值,并将计算后虚拟可驾驶设备需要调整的方向盘、刹车及油门的转角值传递给VR场景渲染模块,通过VR场景渲染模块控制虚拟可驾驶设备动作,使得虚拟场景中的虚拟可驾驶设备与真实可驾驶设备动作保持一致。
优选的是,所述主机内还设置有安全策略模块,其接收VR场景渲染模块提供的虚拟场景赛道信息及虚拟可驾驶设备的当前位姿信息,并在虚拟场景赛道上设置虚拟边界,所述安全策略模块设定一个虚拟可驾驶设备与虚拟边界之间的最小间距,安全策略模块时刻监测虚拟可驾驶设备与虚拟边界之间的间距,若小于最小间距,则安全策略模块通过连接控制模块控制真实可驾驶设备紧急制动或减速;所述安全策略模块还设置为能监测真实可驾驶设备的联网状况,若监测到网络连接丢失,则安全策略模块通过连接控制模块控制真实可驾驶设备紧急制动。
优选的是,还包括车联网系统,其由车载主机、场地内服务器、云端服务器共同构建信息交流网络,云端服务器UVB基站通过车载的UVB位置标签接收到真实可驾驶设备的位姿信息后无线传输给场地内服务器再传输给车载主机,云端服务器接收同一个场景下的多个真实可驾驶设备的位姿信息,并通过组合后将信息再通过场内服务器反馈给主机,通过主机在虚拟场景中渲染多个虚拟可驾驶设备;云端服务器还设置有监测计算模块,其通过监测多个真实可驾驶设备的位姿,若超出了设定的程序,则通过场内服务器反馈给主机控制真实可驾驶设备按照设定程序动作。
优选的是,所述主机上还设置有虚拟动作模块,在虚拟赛道中出现真实场景没有的虚拟效果,通过虚拟动作模块反馈至真实设备中,具体为:
1)虚拟场景中发生虚拟运动效果,该效果通过主机的虚拟动作模块编译成具体的真实可驾驶设备参数的变化,包括方向盘、刹车、油门、悬架变化;
2)参数变化通过主机直接体现至虚拟场景中,并通过VR头戴式显示器呈现给驾驶员;
3)参数变化通过主机的控制系统控制真实可驾驶设备动作,完成实际的参数变化。
本发明还提供一种大封闭空间沉浸式驾驶系统的控制方法,包括如下步骤:
步骤1):车载主机运行的控制模块通过串口读取位姿测量系统提供的当前真实可驾驶设备的位姿信息,同时接收到VR渲染模块提供的虚拟赛道内虚拟可驾驶设备的当前位姿信息;
步骤2):对位姿测量系统提供的真实可驾驶设备的位姿信息与VR渲染模块提供的当前虚拟可驾驶设备的位姿状态信息作差,得到位姿信息误差;
步骤3):通过PID/MPC控制算法之后得到位姿误差修补需要的补偿控制量;
步骤4):控制模块从交互系统获得驾驶员操作的真实可驾驶设备当前的方向盘、油门、刹车以及悬架的状态数据,作为直接控制量;
步骤5):将闭环误差补偿控制量和直接控制量叠加的综合控制量输入到控制模块;
步骤6):控制模块执行相关指令让虚拟可驾驶设备动作,虚拟场景画面刷新;
步骤7):VR渲染模块将虚拟场景画面数据传送给VR头戴式显示器,并通过VR头戴式显示器显示出来给驾驶员看到。
本发明还提供另外一种大封闭空间沉浸式驾驶系统的控制方法,包括如下步骤:
步骤1):车载主机运行的控制模块通过串口读取位姿测量系统提供的当前真实可驾驶设备的位姿信息,同时接收到VR渲染模块提供的虚拟赛道内虚拟可驾驶设备的当前位姿信息;
步骤2):对位姿测量系统提供的真实可驾驶设备的位姿信息与VR渲染模块提供的当前虚拟可驾驶设备的位姿状态信息作差,得到位姿信息误差;
步骤3):通过PID/MPC控制算法之后得到位姿误差修补需要的补偿控制量;
步骤4):控制模块从交互系统获得驾驶员操作的虚拟可驾驶设备当前的方向盘、油门、刹车以及悬架的状态数据,作为直接控制量;
步骤5):将闭环误差补偿控制量和直接控制量叠加的综合控制量输入到虚拟动作模块;
步骤6):虚拟动作模块执行相关指令让真实可驾驶设备动作,使真实可驾驶设备与虚拟可驾驶设备状态一致;
步骤7):VR渲染模块将虚拟场景画面数据传送给VR头戴式显示器,并通过VR头戴式显示器显示出来给驾驶员看到。
本发明至少包括以下有益效果:
本发明为大封闭空间沉浸式驾驶运动提供了一种全新的虚实结合的方式,兼具真实可驾驶设备驾驶感和虚拟游戏的科技感、丰富性双方面优点。本发明的系统属于人机结合产物,既保证了传统物理驾驶设备的真实驾驶感,同时也兼顾了科技性和丰富趣味性。本发明的系统及方法将传统的虚拟现实应用场景推广至真实驾驶设备的情景,将真实的运动感结合虚拟世界的沉浸感有机结合,将虚拟现实的体验推向新高度。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明的结构示意图;
图2为本发明的系统框图;
图3为本发明其中一种控制算法的框图;
图4为本发明的另一种控制算法的框图;
图5为本发明车联网系统的示意图;
图6为本发明转向控制的示意图;
图7为本发明制动控制的示意图;
图8为本发明油门控制的示意图;
图9为本发明悬架控制的示意图。
附图标记说明:
1、真实可驾驶设备,2、交互系统,3、VR头戴式显示器,4、主机,5、位姿测量系统,6、供电系统。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是,下述实施方案中所述实验方法,如无特殊说明,均为常规方法,所述试剂和材料,如无特殊说明,均可从商业途径获得;在本发明的描述中,术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1和图2所示,本发明提供一种大封闭空间沉浸式驾驶系统,包括:
交互系统2,其包括在真实可驾驶设备1的方向盘、刹车、悬架以及油门上均设置的电位器式传感器,其用于获取方向盘、刹车、悬架以及油门的转角值;
位姿测量系统5,其设置于真实可驾驶设备1上并用于测量真实可驾驶设备1的位姿信息;位姿测量系统5为基于超带宽技术的位置测量解决方案;
主机4,其固定于真实可驾驶设备1上,所述主机4内设置有控制模块及VR场景渲染模块,所述控制模块与所述交互系统2的各个电位器式传感器以及位姿测量系统5均连接,并接收方向盘、刹车以及油门的转角值以及真实可驾驶设备1的位姿信息,根据获得的方向盘、刹车以及油门的转角值以及真实可驾驶设备1的位姿信息对VR场景渲染模块中的虚拟场景中的虚拟可驾驶设备动作,使得虚拟场景中的虚拟可驾驶设备与真实可驾驶设备1动作保持一致;所述VR场景渲染模块用于渲染VR场景,所述VR场景渲染模块中设置多个渲染场景,且多个渲染场景中的虚拟赛道和真实可驾驶设备1所跑的赛道保持一致;所述方向盘上设置有旋钮按键,其用于控制多个渲染场景的切换;
VR头戴式显示器3,其佩戴于驾驶员的头部,所述VR头戴式显示器3接收所述VR场景渲染模块渲染的虚拟场景及虚拟可驾驶设备并显示。
还包括:姿态测量系统,其包括设置于VR头戴式显示器3上的重力感应器和设置于真实可驾驶设备上的激光探测器,姿态测量系统用于在真实可驾驶设备1运行过程中测量驾驶员的姿态信息,并将此信息传输给控制模块,通过控制模块对VR场景渲染模块中的虚拟场景中的虚拟可驾驶设备的虚拟驾驶员动作;
所述交互系统2还包括在真实可驾驶设备1的悬架上设置的电位器式传感器,其用于获取悬架的振动值。
还包括供电系统6,其用于给主机4、VR头戴式显示器3及位姿测量系统5供电。
在上述技术方案中,如附图1所示,驾驶员驾驶的就是真实可驾驶设备1,头上戴着VR头戴式显示器3。驾驶员驾驶真实可驾驶设备1,看到的是沉浸感极强的虚拟可驾驶设备场景,虚拟赛道和真实所跑赛道保持一致,周围虚拟场景可以变化。
在真实可驾驶设备1底盘上,添加六个主要模块系统。
其一,位姿测量系统5,用于测量当前真实可驾驶设备1的位姿信息。位资信息输入到背椅后面的主机4。位姿信息指的是真实可驾驶设备1实际所处的地理位置即经纬度及姿态即真实可驾驶设备1的俯仰角、横滚角、偏航角、线性速度、角速度等姿态信息。
其二,姿态测量系统,用于在真实可驾驶设备1运行过程中测量驾驶员的姿态信息。驾驶员姿势发生变动时,通过VR头戴式显示器3上设置重力感应器,如陀螺仪,可以感应测量出驾驶员位姿的变化,结合真实可驾驶设备1上设置激光探测器,可以帮助定位驾驶员位置,驾驶员视角位姿发生变化,例如驾驶员发生转向转头,将驾驶员的具体坐姿头部身体倾斜角度等显示至虚拟旋转场景中,以更好模拟。
其三,主机4系统上运行两个软件模块。一个为控制模块,保证VR虚拟赛道内车子和驾驶员所驾驶的真实车子状态同步。另外一个为VR场景渲染模块,渲染虚拟可驾驶设备场景。
其四,VR头戴式显示器3,显示VR场景渲染模块的内容。
其五,交互系统2,主要指方向盘,油门,刹车踏板,方向盘上采用旋钮按键方式实现驾驶员与VR场景之间的人机交互。另外通过电位器式传感器能够实时采集方向盘、刹车及油门的转角值,设置方向盘、刹车及油门初始状态的转角值为0,根据方向盘、刹车及油门转动的方向及角度,通过电位器式传感器采集并获得相应的转角值以传递给虚拟可驾驶设备场景中的虚拟可驾驶设备,使两者始终保持同步。
其六,供电系统6,主要给主机4和位姿测量系统5以及VR头戴式显示器3供电。
在另一种技术方案中,通过交互系统2设置旋转按键,驾驶员可以任意切换赛车虚拟比赛场地,比如可以在沙漠赛车,随时切换到雪地赛车,周围有猛禽出没,神鸟异兽飞行于周围,极大丰富了赛车体验。
在另一种技术方案中,所述主机4的控制模块内还设置有算法模块,在直接控制虚拟汽车的基础上对误差进行补足,减少信息延迟带来的姿态位置误差,所述控制模块还接收VR场景渲染模块提供的虚拟场景赛道内虚拟可驾驶设备的当前位姿信息,所述算法模块将虚拟可驾驶设备的位姿信息与真实可驾驶设备的位姿信息及方向盘、刹车及油门的转角值进行计算比较得出虚拟可驾驶设备需要调整的方向盘、刹车及油门的转角值,并将计算后虚拟可驾驶设备需要调整的方向盘、刹车及油门的转角值传递给VR场景渲染模块,通过VR场景渲染模块控制虚拟可驾驶设备动作,使得虚拟场景中的虚拟可驾驶设备与真实可驾驶设备动作保持一致。
在另一种技术方案中,所述主机4内还设置有安全策略模块,其接收VR场景渲染模块提供的虚拟场景赛道信息及虚拟可驾驶设备的当前位姿信息,并在虚拟场景赛道上设置虚拟边界,该虚拟边界包括虚拟车和虚拟场景之间的边界也包括多虚拟设备之间的边界,所述安全策略模块设定一个虚拟可驾驶设备与虚拟边界之间的最小间距,安全策略模块时刻监测虚拟可驾驶设备与虚拟边界之间的间距,若小于最小间距,则安全策略模块通过连接控制模块控制真实可驾驶设备1紧急制动或减速。通过人为设置虚拟边界,当可能碰触到边界时,因为虚拟界面中计算边界距离等较准确,而真实场景中没有场地边界,因此可控制真实可驾驶设备1紧急制动或减速,是通过控制刹车、方向盘等进行操作,例如真实可驾驶设备为4车道,而虚拟可驾驶设备为2车道或8车道,通过在虚拟可驾驶设备场地设置虚拟边界,实现对真实可驾驶设备1驾驶的安全保障。
所述安全策略模块还设置为能监测真实可驾驶设备的联网状况,若监测到网络连接丢失,则安全策略模块通过连接控制模块控制真实可驾驶设备紧急制动,在虚拟环境掉线或者掉帧的情况下触发相应的安全机制。
在另一种技术方案中,如图5所示,还包括车联网系统,其由车载主机、场地内服务器、云端服务器共同构建信息交流网络,云端服务器UVB基站通过车载的UVB位置标签接收到真实可驾驶设备的位姿信息后无线传输给场地内服务器再传输给车载主机,云端服务器接收同一个场景下的多个真实可驾驶设备的位姿信息,并通过组合后将信息再通过场内服务器反馈给主机,通过主机在虚拟场景中渲染多个虚拟可驾驶设备;云端服务器还设置有监测计算模块,其通过监测多个真实可驾驶设备的位姿,若超出了设定的程序,则通过场内服务器反馈给主机控制真实可驾驶设备按照设定程序动作。
在上述技术方案中,通过设置车联网系统,在同一个场地内运行的多个真实可驾驶设备均能实现通过VR场景渲染模块渲染当时场地内的真实可驾驶设备情况。并且,通过云端服务器内设置的监测计算模块,可同时监测多个真实可驾驶设备的运行情况及相互之间的位置关系,例如,同时监测到4个真实可驾驶设备在同一场地内运行,当任意相邻的两个真实可驾驶设备间距范围即前后或左右的间隔超过设定的范围,则将此信息通过计算然后通过场内服务器反馈给主机控制其中一个真实可驾驶设备减速或加速使得两个真实可驾驶设备在设定的各自安全的范围内运行。例如,同时监测到4个真实可驾驶设备在同一场地内运行,其中一辆真实可驾驶设备基于安全策略模块进行了紧急制动,通过监测计算模块将紧急制动后的真实可驾驶设备位置范围标注出来,从而计算出其它真实设备能运行的实际空间,并通过场内服务器反馈给主机控制其它真实可驾驶设备的运动路线,也就是在虚拟场景中标注一个障碍物。
在另一种技术方案中,所述位姿测量系统通过场地内的基站和真实可驾驶设备上的超宽带UWB位置标签获得真实可驾驶设备的位置信息,同时整合交互系统各传感器信息,得出设备的姿态信息。比如通过重力感应器陀螺仪得到设备整体倾斜角度,但要判断具体是如何倾斜,此时再结合悬架的参数,判断是不是碰撞导致的倾斜,从哪一侧哪一轴开始倾斜(从各个角度发生碰撞的参数不一样),同时也会分析是不是刹车或者加速导致的倾斜,如果是,就基本上是以制动或者加速的轮轴为基础开始的倾斜。将上述各种参数整合之后可以给传递给主机,并模拟出虚拟的车的姿态,同时也传递给安全模块,判断是不是要翻车了。
在另一种技术方案中,所述主机上还设置有虚拟动作模块,在虚拟赛道中出现真实场景没有的虚拟效果,通过虚拟动作模块反馈至真实设备中,具体为:
1)虚拟场景中发生虚拟运动效果,该效果通过主机的虚拟动作模块编译成具体的真实可驾驶设备参数的变化,包括方向盘、刹车、油门、悬架变化;
2)参数变化通过主机直接体现至虚拟场景中,并通过VR头戴式显示器呈现给驾驶员;
3)参数变化通过主机的控制系统控制真实可驾驶设备动作,完成实际的参数变化。
在上述技术方案中的虚拟运动效果包括:虚拟加速、虚拟减速、碰撞、阻滞等,其中虚拟加速指虚拟的驾驶设备进行加速,但真实的驾驶设备并没有按照同样的加速度进行,只是模拟加速的推背感等效果。
在上述技术方案中,主要包括如下的虚拟效果控制:
转向控制:如图6所示,方向盘通过转角传感器即电位器式传感器输出角度信号给行车电脑即主机来控制转向电机工作,线位移传感器监测转向电机的位移量反馈给行车电脑来进行闭环控制,为驾驶员真实的方向盘掌控转角,当有虚拟特殊路况的时候,如行驶在沼泽地,行车电脑控制虚拟回馈电机工作来模拟操纵感,同时方向盘附加力回馈系统会根据方向盘转角提供力回馈来模拟操纵感,即让驾驶人在看到虚拟场景的沼泽地时也能实际感受到车陷入沼泽地的感受。
制动控制:如图7所示,刹车踏板通过位置传感器1给行车电脑信号来控制驱动电缸,驱动电缸推动刹车总泵来实现刹车,位置传感器2反馈给行车电脑驱动电机位置信号来进行闭环控制,刹车踏板自身加装阻尼装置来模拟脚感。
油门控制,如图8所示,油门踏板通过位置传感器给行车电脑信号来控制电机控制器,电机控制器控制轮毂电机实现行车,电机控制器反馈轮毂电机的车速信号给行车电脑实现闭环控制,油门踏板自身加装阻尼装置模拟脚感。
制动控制和油门控制,主要是基于虚拟场景中,如果有相关的道具出现,导致虚拟场景中出现虚拟可驾驶设备的减速或加速,通过虚拟场景反馈至控制系统中,通过控制系统控制加装在刹车踏板或油门踏板上的阻尼装置来模拟加速或减速的感觉,以形成真实场景与虚拟场景的匹配。
悬架控制,如图9所示,悬架部分通过控制减震器上点的位置来模拟不同的姿态,每个减震器均加装一个电缸和线位移传感器,行车电脑给对应减震器的电缸伸缩指令来控制当前位置悬架姿态,同时对应的线位移传感器给行车电脑反馈实时减震器姿态来形成闭环控制。也就是在虚拟场景中如果碰到障碍物虚拟可驾驶设备必然会发生振动,而实际上真实场景中并没有障碍物,为了模拟障碍物碰撞的感觉,通过当虚拟场景中碰到障碍物时,通过控制系统控制悬架的电缸动作,实现减震器的动作,模拟虚拟场景。
本发明还提供一种大封闭空间沉浸式驾驶系统的控制方法,包括如下步骤:
步骤1):车载主机运行的控制模块通过串口读取位姿测量系统提供的当前真实可驾驶设备的位姿信息,同时接收到VR渲染模块提供的虚拟赛道内虚拟可驾驶设备的当前位姿信息;
步骤2):主机的控制模块通过串口接收交互系统传送的当前真实可驾驶设备的方向盘、油门及刹车转角值以及旋转按键操作信号;
步骤3):控制模块通过计算模块计算比较得出虚拟可驾驶设备需要调整的位姿信息及方向盘、刹车及油门的转角值,并负责发送最终控制指令给VR渲染模块,VR渲染模块再执行相关指令让虚拟可驾驶设备动作,虚拟场景画面刷新;
步骤4):VR渲染模块负责将虚拟场景画面数据传送给VR头戴式显示器,并通过VR头戴式显示器显示出来给驾驶员看到。
本发明整个系统最关键的技术之一就是要实现真实物理设备和虚拟设备之间的状态同步,减少延迟,也就是控制算法模块的工作原理如附图3所示,物理车辆指的就是真实可驾驶设备,方向盘油门刹车反馈系统即交互系统。整个系统被控对象为VR虚拟设备,而控制目标就是让虚拟设备状态和物理设备状态误差最小化。
所述算法模块具体控制过程如下:
1)控制模块从交互系统获得驾驶员操作的真实可驾驶设备当前的方向盘、油门及刹车转角值,作为直接控制量;
2)对位姿测量系统提供的真实可驾驶设备的位姿信息与VR渲染模块提供的当前虚拟可驾驶设备的位姿状态信息作差,得到位姿信息误差;
3)通过PID/MPC控制算法之后得到位姿误差修补需要的补偿控制量;
4)将闭环误差补偿控制量和直接控制量叠加的综合控制量输入到VR渲染模块;
5)VR渲染模块控制虚拟可驾驶设备执行控制指令。
直接控制量保证了系统响应快,误差补偿闭环控制保证了误差的最小化。
本发明还提供另一种大封闭空间沉浸式驾驶系统的控制方法,包括如下步骤:
步骤1):车载主机运行的控制模块通过串口读取位姿测量系统提供的当前真实可驾驶设备的位姿信息,同时接收到VR渲染模块提供的虚拟赛道内虚拟可驾驶设备的当前位姿信息;
步骤2):对位姿测量系统提供的真实可驾驶设备的位姿信息与VR渲染模块提供的当前虚拟可驾驶设备的位姿状态信息作差,得到位姿信息误差;
步骤3):通过PID/MPC控制算法之后得到位姿误差修补需要的补偿控制量;
步骤4):控制模块从交互系统获得驾驶员操作的虚拟可驾驶设备当前的方向盘、油门、刹车以及悬架的状态数据,作为直接控制量;
步骤5):将闭环误差补偿控制量和直接控制量叠加的综合控制量输入到虚拟动作模块;
步骤6):虚拟动作模块执行相关指令让真实可驾驶设备动作,使真实可驾驶设备与虚拟可驾驶设备状态一致;
步骤7):VR渲染模块将虚拟场景画面数据传送给VR头戴式显示器,并通过VR头戴式显示器显示出来给驾驶员看到。
上述具体的控制算法模块的工作原理如附图4所示。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (12)
1.一种大封闭空间沉浸式驾驶系统,其特征在于,包括:
交互系统,其包括在真实可驾驶设备的方向盘、刹车以及油门上均设置的电位器式传感器,其用于获取方向盘、刹车以及油门的转角值;
位姿测量系统,其设置于真实可驾驶设备上并用于测量真实可驾驶设备的位姿信息;
主机,其固定于真实可驾驶设备上,所述主机内设置有控制模块及VR场景渲染模块,所述控制模块与所述交互系统的各个电位器式传感器以及位姿测量系统均连接,并接收方向盘、刹车以及油门的转角值以及真实可驾驶设备的位姿信息,根据获得的方向盘、刹车以及油门的转角值以及真实可驾驶设备的位姿信息对VR场景渲染模块中的虚拟场景中的虚拟可驾驶设备动作,使得虚拟场景中的虚拟可驾驶设备与真实可驾驶设备动作保持一致;所述VR场景渲染模块用于渲染VR场景;
VR头戴式显示器,其佩戴于驾驶员的头部,所述VR头戴式显示器接收所述VR场景渲染模块渲染的虚拟场景及虚拟可驾驶设备并显示。
2.如权利要求1所述的大封闭空间沉浸式驾驶系统,其特征在于,还包括姿态测量系统,其包括设置于VR头戴式显示器上的重力感应器和设置于真实可驾驶设备上的激光探测器,姿态测量系统用于在真实可驾驶设备运行过程中测量驾驶员的姿态信息,并将此信息传输给控制模块,通过控制模块对VR场景渲染模块中的虚拟场景中的虚拟可驾驶设备的虚拟驾驶员动作。
3.如权利要求1所述的大封闭空间沉浸式驾驶系统,其特征在于,所述交互系统还包括在真实可驾驶设备的悬架上设置的电位器式传感器,其用于获取悬架的振动值。
4.如权利要求3所述的大封闭空间沉浸式驾驶系统,其特征在于,所述位姿测量系统通过场地内的基站和真实可驾驶设备上的超宽带UWB位置标签获得真实可驾驶设备的位置信息,同时整合交互系统各传感器信息,得出设备的姿态信息。
5.如权利要求2所述的大封闭空间沉浸式驾驶系统,其特征在于,还包括供电系统,其用于给主机、VR头戴式显示器、姿态测量系统及位姿测量系统供电。
6.如权利要求1所述的大封闭空间沉浸式驾驶系统,其特征在于,所述VR场景渲染模块中设置多个渲染场景,且多个渲染场景中的虚拟赛道和真实可驾驶设备所跑的赛道保持一致;所述方向盘上设置有旋钮按键,其用于控制多个渲染场景的切换,用于人机交互;所述位姿测量系统测量的真实可驾驶设备的位姿信息包括地理位置及真实可驾驶设备的俯仰角、横滚角、偏航角、线性速度、角速度姿态信息。
7.如权利要求1所述的大封闭空间沉浸式驾驶系统,其特征在于,所述主机的控制模块内还设置有算法模块,所述控制模块还接收VR场景渲染模块提供的虚拟场景赛道内虚拟可驾驶设备的当前位姿信息,所述算法模块将虚拟可驾驶设备的位姿信息与真实可驾驶设备的位姿信息及方向盘、刹车及油门的转角值进行计算比较得出虚拟可驾驶设备需要调整的方向盘、刹车及油门的转角值,并将计算后虚拟可驾驶设备需要调整的方向盘、刹车及油门的转角值传递给VR场景渲染模块,通过VR场景渲染模块控制虚拟可驾驶设备动作,使得虚拟场景中的虚拟可驾驶设备与真实可驾驶设备动作保持一致。
8.如权利要求7所述的大封闭空间沉浸式驾驶系统,其特征在于,所述主机内还设置有安全策略模块,其接收VR场景渲染模块提供的虚拟场景赛道信息及虚拟可驾驶设备的当前位姿信息,并在虚拟场景赛道上设置虚拟边界,所述安全策略模块设定一个虚拟可驾驶设备与虚拟边界之间的最小间距,安全策略模块时刻监测虚拟可驾驶设备与虚拟边界之间的间距,若小于最小间距,则安全策略模块通过连接控制模块控制真实可驾驶设备紧急制动或减速;所述安全策略模块还设置为能监测真实可驾驶设备的联网状况,若监测到虚拟可驾驶设备网络连接丢失,则安全策略模块通过连接控制模块控制真实可驾驶设备紧急制动。
9.如权利要求7所述的大封闭空间沉浸式驾驶系统,其特征在于,还包括车联网系统,其由车载主机、场地内服务器、云端服务器共同构建信息交流网络,云端服务器UVB基站通过车载的UVB位置标签接收到真实可驾驶设备的位姿信息后无线传输给场地内服务器再传输给车载主机,云端服务器接收同一个场景下的多个真实可驾驶设备的位姿信息,并通过组合后将信息再通过场内服务器反馈给主机,通过主机在虚拟场景中渲染多个虚拟可驾驶设备;云端服务器还设置有监测计算模块,其通过监测多个真实可驾驶设备的位姿,若超出了设定的程序,则通过场内服务器反馈给主机控制真实可驾驶设备按照设定程序动作。
10.如权利要求7所述的大封闭空间沉浸式驾驶系统,其特征在于,所述主机上还设置有虚拟动作模块,在虚拟赛道中出现真实场景没有的虚拟效果,通过虚拟动作模块反馈至真实设备中,具体为:
1)虚拟场景中发生虚拟运动效果,该效果通过主机的虚拟动作模块编译成具体的真实可驾驶设备参数的变化,包括方向盘、刹车、油门、悬架变化;
2)参数变化通过主机直接体现至虚拟场景中,并通过VR头戴式显示器呈现给驾驶员;
3)参数变化通过主机的控制系统控制真实可驾驶设备动作,完成实际的参数变化。
11.一种大封闭空间沉浸式驾驶系统的控制方法,其特征在于,包括如下步骤:
步骤1):车载主机运行的控制模块通过串口读取位姿测量系统提供的当前真实可驾驶设备的位姿信息,同时接收到VR渲染模块提供的虚拟赛道内虚拟可驾驶设备的当前位姿信息;
步骤2):对位姿测量系统提供的真实可驾驶设备的位姿信息与VR渲染模块提供的当前虚拟可驾驶设备的位姿状态信息作差,得到位姿信息误差;
步骤3):通过PID/MPC控制算法之后得到位姿误差修补需要的补偿控制量;
步骤4):控制模块从交互系统获得驾驶员操作的真实可驾驶设备当前的方向盘、油门、刹车以及悬架的状态数据,作为直接控制量;
步骤5):将闭环误差补偿控制量和直接控制量叠加的综合控制量输入到控制模块;
步骤6):控制模块执行相关指令让虚拟可驾驶设备动作,虚拟场景画面刷新;
步骤7):VR渲染模块将虚拟场景画面数据传送给VR头戴式显示器,并通过VR头戴式显示器显示出来给驾驶员看到。
12.一种大封闭空间沉浸式驾驶系统的控制方法,其特征在于,包括如下步骤:
步骤1):车载主机运行的控制模块通过串口读取位姿测量系统提供的当前真实可驾驶设备的位姿信息,同时接收到VR渲染模块提供的虚拟赛道内虚拟可驾驶设备的当前位姿信息;
步骤2):对位姿测量系统提供的真实可驾驶设备的位姿信息与VR渲染模块提供的当前虚拟可驾驶设备的位姿状态信息作差,得到位姿信息误差;
步骤3):通过PID/MPC控制算法之后得到位姿误差修补需要的补偿控制量;
步骤4):控制模块从交互系统获得驾驶员操作的虚拟可驾驶设备当前的方向盘、油门、刹车以及悬架的状态数据,作为直接控制量;
步骤5):将闭环误差补偿控制量和直接控制量叠加的综合控制量输入到虚拟动作模块;
步骤6):虚拟动作模块执行相关指令让真实可驾驶设备动作,使真实可驾驶设备与虚拟可驾驶设备状态一致;
步骤7):VR渲染模块将虚拟场景画面数据传送给VR头戴式显示器,并通过VR头戴式显示器显示出来给驾驶员看到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/127737 WO2022134859A1 (zh) | 2020-12-23 | 2021-10-29 | 一种大封闭空间沉浸式驾驶系统及控制方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020115442378 | 2020-12-23 | ||
CN202011544237.8A CN112506351A (zh) | 2020-12-23 | 2020-12-23 | 一种室外赛车场内沉浸式赛车系统及控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113157098A true CN113157098A (zh) | 2021-07-23 |
CN113157098B CN113157098B (zh) | 2021-09-28 |
Family
ID=74923165
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011544237.8A Pending CN112506351A (zh) | 2020-12-23 | 2020-12-23 | 一种室外赛车场内沉浸式赛车系统及控制方法 |
CN202110455361.5A Active CN113157098B (zh) | 2020-12-23 | 2021-04-26 | 一种大封闭空间沉浸式驾驶系统及控制方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011544237.8A Pending CN112506351A (zh) | 2020-12-23 | 2020-12-23 | 一种室外赛车场内沉浸式赛车系统及控制方法 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN112506351A (zh) |
WO (1) | WO2022134859A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689755A (zh) * | 2021-08-26 | 2021-11-23 | 南方电网调峰调频发电有限公司 | 一种基于虚拟现实的电站安全驾驶模拟训练方法及系统 |
CN113867315A (zh) * | 2021-09-24 | 2021-12-31 | 同济大学 | 一种虚实结合的高保真交通流智能车测试平台及测试方法 |
WO2022134859A1 (zh) * | 2020-12-23 | 2022-06-30 | 武汉小绿人动力技术股份有限公司 | 一种大封闭空间沉浸式驾驶系统及控制方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113318457A (zh) * | 2021-06-24 | 2021-08-31 | 中国第一汽车股份有限公司 | 一种控制方法、装置、设备及存储介质 |
CN114428577A (zh) * | 2021-12-31 | 2022-05-03 | 合众新能源汽车有限公司 | 一种车载交互方法、车载交互终端及车载系统 |
CN116126150B (zh) * | 2023-04-13 | 2023-06-27 | 北京千种幻影科技有限公司 | 一种基于实景交互的模拟驾驶系统及方法 |
CN117873119B (zh) * | 2024-03-11 | 2024-05-28 | 北京数易科技有限公司 | 一种基于虚拟现实的机动装备移动控制方法、系统及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150097860A1 (en) * | 2013-10-03 | 2015-04-09 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
CN105353869A (zh) * | 2015-10-22 | 2016-02-24 | 苏州威尔勒信息技术有限公司 | 一种虚拟汽车的交互体验驾驶方法 |
CN105344101A (zh) * | 2015-11-19 | 2016-02-24 | 广州玖的数码科技有限公司 | 一种画面与机械运动同步的模拟赛车装置及模拟方法 |
US20170078638A1 (en) * | 2013-10-03 | 2017-03-16 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
CN206688206U (zh) * | 2016-12-14 | 2017-12-01 | 贵州大学 | 一种基于家用汽车的虚拟驾驶体验装置 |
CN110097799A (zh) * | 2019-05-23 | 2019-08-06 | 重庆大学 | 基于真实场景建模的虚拟驾驶系统 |
CN110136535A (zh) * | 2018-02-09 | 2019-08-16 | 深圳市掌网科技股份有限公司 | 驾驶员考试模拟系统及方法 |
CN111708435A (zh) * | 2020-06-08 | 2020-09-25 | 中国第一汽车股份有限公司 | 车载虚拟现实设备控制方法、装置、车辆和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104748746B (zh) * | 2013-12-29 | 2017-11-03 | 刘进 | 智能机姿态测定及虚拟现实漫游方法 |
CN105807922B (zh) * | 2016-03-07 | 2018-10-02 | 湖南大学 | 一种虚拟现实娱乐驾驶的实现方法、装置及系统 |
US9996980B1 (en) * | 2016-11-18 | 2018-06-12 | Toyota Jidosha Kabushiki Kaisha | Augmented reality for providing vehicle functionality through virtual features |
CN112506351A (zh) * | 2020-12-23 | 2021-03-16 | 武汉小绿人动力技术股份有限公司 | 一种室外赛车场内沉浸式赛车系统及控制方法 |
-
2020
- 2020-12-23 CN CN202011544237.8A patent/CN112506351A/zh active Pending
-
2021
- 2021-04-26 CN CN202110455361.5A patent/CN113157098B/zh active Active
- 2021-10-29 WO PCT/CN2021/127737 patent/WO2022134859A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150097860A1 (en) * | 2013-10-03 | 2015-04-09 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
US20170078638A1 (en) * | 2013-10-03 | 2017-03-16 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
CN105353869A (zh) * | 2015-10-22 | 2016-02-24 | 苏州威尔勒信息技术有限公司 | 一种虚拟汽车的交互体验驾驶方法 |
CN105344101A (zh) * | 2015-11-19 | 2016-02-24 | 广州玖的数码科技有限公司 | 一种画面与机械运动同步的模拟赛车装置及模拟方法 |
CN206688206U (zh) * | 2016-12-14 | 2017-12-01 | 贵州大学 | 一种基于家用汽车的虚拟驾驶体验装置 |
CN110136535A (zh) * | 2018-02-09 | 2019-08-16 | 深圳市掌网科技股份有限公司 | 驾驶员考试模拟系统及方法 |
CN110097799A (zh) * | 2019-05-23 | 2019-08-06 | 重庆大学 | 基于真实场景建模的虚拟驾驶系统 |
CN111708435A (zh) * | 2020-06-08 | 2020-09-25 | 中国第一汽车股份有限公司 | 车载虚拟现实设备控制方法、装置、车辆和存储介质 |
Non-Patent Citations (1)
Title |
---|
刘秀玲; 李明昭; 耿佳; 王清泉; 王洪瑞: "真车信号采集的虚拟驾驶交互控制研究", 《计算机工程与设计》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022134859A1 (zh) * | 2020-12-23 | 2022-06-30 | 武汉小绿人动力技术股份有限公司 | 一种大封闭空间沉浸式驾驶系统及控制方法 |
CN113689755A (zh) * | 2021-08-26 | 2021-11-23 | 南方电网调峰调频发电有限公司 | 一种基于虚拟现实的电站安全驾驶模拟训练方法及系统 |
CN113867315A (zh) * | 2021-09-24 | 2021-12-31 | 同济大学 | 一种虚实结合的高保真交通流智能车测试平台及测试方法 |
CN113867315B (zh) * | 2021-09-24 | 2023-06-02 | 同济大学 | 一种虚实结合的高保真交通流智能车测试平台及测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113157098B (zh) | 2021-09-28 |
WO2022134859A1 (zh) | 2022-06-30 |
CN112506351A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113157098B (zh) | 一种大封闭空间沉浸式驾驶系统及控制方法 | |
KR101501632B1 (ko) | 인터랙티브 오감형 라이더 비행 배틀 레이싱 장치 | |
CN107596683B (zh) | 基于增强现实的童车虚拟游乐方法、装置及系统 | |
US20100279255A1 (en) | Vehicle simulator system | |
Arioui et al. | Mechatronics, design, and modeling of a motorcycle riding simulator | |
EP3242732B1 (en) | Mobile platform | |
Arioui et al. | From design to experiments of a 2-DOF vehicle driving simulator | |
JP6596229B2 (ja) | シミュレータ | |
CN108922307A (zh) | 模拟驾驶训练方法、装置及模拟驾驶系统 | |
CN111161586A (zh) | 救援车仿真模拟训练装置及操作方法 | |
CN113129681B (zh) | 一种虚拟驾驶系统及车辆 | |
CN113570939B (zh) | 一种基于六自由度平台的虚拟现实式摩托车模拟驾驶系统 | |
Kimura et al. | Design of virtual platoon control system using augmented reality to assist welfare vehicle users | |
KR101620326B1 (ko) | 장난감 차량 원격제어용 자전거 운동기구 시스템 | |
CN116504113A (zh) | 一种驾驶模拟系统及驾驶模拟方法 | |
Wang et al. | Evaluation of alternative steering devices with adjustable haptic feedback for semi-autonomous and autonomous vehicles | |
JPWO2005066918A1 (ja) | シュミレーション装置 | |
CN209118541U (zh) | 全工况数字化城市的智能驾驶培训模拟器 | |
Arioui et al. | 2 DOF low cost platform for driving simulator: Modeling and control | |
Kimura et al. | Driving assistance system for welfare vehicle using virtual platoon control with augmented reality | |
TWI232417B (en) | Motorcycle riding simulation device | |
CN113593358A (zh) | 二自由度vr飞船驾驶模拟系统 | |
TWI817553B (zh) | 防禦性駕駛的訓練系統與訓練方法 | |
JPH1170271A (ja) | 画像処理装置、遊戯施設及び遊戯施設用乗り物 | |
JPWO2006064817A1 (ja) | 鉄道用運転シミュレータ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |