CN112987699A - 一种基于叠加式抬头显示的矿用卡车远程应急接管系统 - Google Patents
一种基于叠加式抬头显示的矿用卡车远程应急接管系统 Download PDFInfo
- Publication number
- CN112987699A CN112987699A CN202110456928.0A CN202110456928A CN112987699A CN 112987699 A CN112987699 A CN 112987699A CN 202110456928 A CN202110456928 A CN 202110456928A CN 112987699 A CN112987699 A CN 112987699A
- Authority
- CN
- China
- Prior art keywords
- information
- driving
- mining truck
- truck
- mining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005065 mining Methods 0.000 title claims abstract description 131
- 230000007613 environmental effect Effects 0.000 claims abstract description 8
- 238000004088 simulation Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 44
- 230000006399 behavior Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000004888 barrier function Effects 0.000 abstract description 3
- 238000007499 fusion processing Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009323 psychological health Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 231100000206 health hazard Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
- G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于叠加式抬头显示的矿用卡车远程应急接管系统，矿用卡车通过环境感知系统得到行驶状态信息、环境障碍物信息，并传输至车载控制器，进行多线程安全预警；通过车载5G无线数据传输设备将信息传输至云端服务器，对矿用卡车环境进行虚拟信息叠加融合处理后下载至远端遥控驾驶室，显示在远端驾驶室的显示器；远端驾驶室的驾驶员操控模拟驾驶设备，将采集到的遥控驾驶数据通过5G无线设备传输至矿用卡车车载控制器，再由车载控制器控制矿用卡车控制执行器，实现了基于叠加式抬头显示的矿用卡车远程应急接管。本发明能够实现对矿区卡车的远程遥控驾驶，提高矿区运输效率、降低生产事故、减少人力成本并且解决司机难聘请难的问题。
Description
技术领域
本发明属于矿用卡车遥控驾驶技术领域，尤其涉及一种基于叠加式抬头显示的矿用卡车远程应急接管系统。
背景技术
近年来，随着增强现实、5G通信、人工智能等技术的快速发展，对车辆的遥控驾驶成为了新的研究热点。道路环境相对封闭、行驶路线较为固定且作业车辆速度较慢的矿区环境是车辆遥控驾驶最佳落地场景之一，矿区高寒、多风、粉尘及有毒有害化学物质严重摧残着矿用卡车司机的身体健康，从而带来环境、安全、效率等问题严重制约采矿业的持续快速发展。因此，国家也出台了一系列针对建设智慧矿山的相关规划，其中，无人驾驶系统可以提高矿区运输效率、降低生产事故、减少人力成本并且解决司机难聘请的问题。在无人驾驶系统出现异常停车或在装卸载区域作业时不能完整的完成作业任务时，为了提高异常处理的效率，保证作业连续性，就需要远程遥控驾驶配合无人驾驶系统使用，做异常处理及应急接管。
增强现实（Augmented Reality，简称 AR）通过图像、视频、三维模型构建等技术将虚拟世界融合在现实世界中，给用户提供浸入式的感知体验。目前，已将增强现实技术应用在车辆辅助驾驶、安全预警等领域中：现有技术公开了一种辅助驾驶员的车道级导航增强现实装置，通过使用基于抬头显示器(Head Up Display,简称HUD)的增强显示技术，可以避免驾驶员使用传统导航装置时不断抬头与低头，从而使眼睛不断调整焦距所产生延迟与不适。还有研究公开了一种远程车辆空间感知通知系统，通过增强现实技术将音频和视觉警报联系在一起，当感知到车辆周围出现危险，可以为驾驶提供安全预警。
上述增强现实技术虽提高了车辆安全、智能等性能，但驾驶员仍需在车辆驾驶舱之中，这并没完全解决矿区恶劣环境对驾驶员造成严重身心健康危害的问题。
发明内容
为了解决上述已有技术存在的不足，本发明根据增强现实原理，提出一种基于叠加式抬头显示的矿用卡车远程应急接管系统，能够实现对矿区卡车的远程遥控驾驶，提高矿区运输效率、降低生产事故、减少人力成本并且解决司机难聘请难的问题。本发明的具体技术方案如下：
一种基于叠加式抬头显示的矿用卡车远程应急接管系统，包括环境感知系统、安全预警系统、矿用卡车执行系统、车载控制器、5G通信系统、云服务器系统、叠加式抬头显示系统、远端驾驶室系统，其中，
所述环境感知系统包括安装在矿用卡车上的智能摄像头和毫米波雷达，所述智能摄像头用于感知矿用卡车周围的环境信息，所述毫米波雷达用于探测障碍物的信息以及扫描道路或作业区边界；通过CAN数据方式将矿用卡车行驶状态信息、周围的环境信息及障碍物的信息传送给所述车载控制器；
所述安全预警系统通过所述环境感知系统采集到的信息对矿用卡车进行安全预警，输出矿用卡车的安全预警信息；
所述车载控制器多线程运行所述安全预警系统，通过以太网将所述环境感知系统获得的矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块；通过CAN数据方式将驾驶员驾驶行为信号数据传输至所述矿用卡车执行系统；
所述5G通信系统包括车载5G通信模块和远端驾驶室5G通信模块，所述车载5G通信模块用于将矿用卡车的行驶信息、环境信息、安全预警信息上传至云服务器系统，从云服务器系统下载驾驶员驾驶行为信号数据，并通过以太网传输至所述车载控制器；所述远端驾驶室5G通信模块用于从云服务器系统下载经所述叠加式抬头显示系统处理后的矿用卡车数据；
所述叠加式抬头显示系统包括叠加式抬头显示系统软件以及叠加式抬头显示硬件设备；所述叠加式抬头显示硬件设备设置于所述远端驾驶室系统中；
所述云服务器系统中运行所述叠加式抬头显示系统软件，所述云服务器系统的3D模型软件运行矿用卡车、矿区环境模型及相关资源信息；
所述远端驾驶室系统还包括模拟驾驶器，通过显示设备显示基于所述叠加式抬头显示系统处理的矿区环境及驾驶辅助元素，附加行车相关信息，使所述远端驾驶室系统的驾驶员能够以沉浸式感受驾驶矿用卡车；采集驾驶员驾驶行为并通过所述远端驾驶室5G通信模块上传至云服务器系统。
基于矿用卡车远程应急接管系统的驾驶方法，所述驾驶方法包括以下步骤：
S1：环境感知系统将采集到的矿用卡车行驶状态信息、周围的环境信息及障碍物信息通过CAN数据方式传送给车载控制器；
S2：车载控制器多线程运行安全预警系统，输出矿用卡车的安全预警信息；
S3：车载控制器通过以太网将矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块，通过车载5G通信模块上传至云服务器系统；
S4：云服务器处理环境感知系统、安全预警系统上传的车辆周边信息；
S5：云服务器系统中运行叠加式抬头显示系统，云服务器系统的3D模型软件运行矿用卡车、矿区环境、矿区车道边界模型，云服务器处理计算环境感知系统上传的道路边界信息，行成虚拟车道边界模型，叠加至矿区道路模型上；同时，在矿区环境模型叠加导航路径、行驶方向引导和停靠位示意图像，整体渲染形成融合数字信息与现场环境信息的抬头显示图像，通过GPS定位根据矿用卡车所在位置和前方视野对影像实时刷新，下载至远端驾驶室进行显示；
S6：远端驾驶室5G通信模块从云服务器系统下载经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，以及卡车的行驶信息、安全预警信息和卡车作业目的地、载货状态信息；
S7：通过显示设备显示经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，根据驾驶过程中方向盘的控制显示行进方向示意或停靠辅助图像信息，叠加卡车返回的油门、刹车的开合度等相关卡车数据，提高驾驶员驾驶的临场感、安全性和准确性，且驾驶员能够实时观测卡车行驶数据，使远端驾驶室的驾驶员以沉浸式感受驾驶矿用卡车；
S8：当远端驾驶室系统接收到安全预警系统上传的警示信息时，驾驶室显示设备显示对应的报警图标，同时声音设备输出报警语音；
S9：远端驾驶室系统采集驾驶员驾驶行为并通过远端驾驶室5G通信模块上传至云服务器系统；
S10：矿用卡车车载5G通信模块从云服务器系统下载驾驶员驾驶行为信号数据，通过以太网传输至车载控制器，车载控制器通过CAN数据方式传输至矿用卡车执行系统，从而实现对矿用卡车的远程应急接管。
本发明的有益效果在于：
1.本发明的遥控驾驶系统及驾驶方法相比于传统驾驶舱驾驶，能够使驾驶员远离矿区恶劣的生产生活环境，保护驾驶员身心健康，提高工作效率，降低安全事故的发生。
2.本发明利用的叠加式抬头显示技术相比于传统图像、视频技术，能够将更真实客观的三维环境呈现给驾驶员，使得驾驶员有身历其境的遥控驾驶体验，从而安全高效的完成运输作业任务。
3.相比于单一功能的远程驾驶，本发明增加了安全预警系统。矿用卡车配备有摄像头、毫米波雷达等外部环境感知传感器，能够实现对矿用卡车危险状况的预警，再通过叠加式抬头显示中的音频和视觉信息向远端的遥控驾驶员提供风险预警，从而大幅提高了遥控矿用卡车的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1是本发明的基于叠加式抬头显示的矿用卡车遥控驾驶系统框图；
图2是本发明的构建基于叠加式抬头显示的矿用卡车遥控驾驶系统流程图；
图3是本发明的叠加式抬头显示图像示例。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示，本发明以云服务器系统为桥梁，通过5G无线数据传输方式将远端遥控驾驶室与矿区中矿用卡车连接，为使得远端遥控驾驶员具有沉浸式的驾驶体验，本发明使用叠加式抬头显示技术取代传统的图片、视频方法。具体来说：首先，矿用卡车通过环境感知系统得到矿用卡车行驶状态信息、周围的环境信息及障碍物的信息，并将这些信息传输至车载控制器，进行多线程安全预警；接下来，通过车载5G通信模块将上述信息传输至云服务器系统，在云服务器系统对矿用卡车环境进行虚拟信息叠加融合处理后下载至远端遥控驾驶室，显示在远端遥控驾驶室的叠加式抬头显示设备上，并叠加行车提示信息；远端遥控驾驶室的驾驶员操控模拟驾驶设备，将采集到的遥控驾驶数据如转向、油门、制动等信息通过远端遥控驾驶室5G通信模块传输至车载控制器，再由车载控制器控制矿用卡车执行系统，从而实现基于叠加式抬头显示的矿用卡车远程应急接管。
具体地，一种基于叠加式抬头显示的矿用卡车远程应急接管系统，包括环境感知系统、安全预警系统、矿用卡车执行系统、车载控制器、5G通信系统、云服务器系统、叠加式抬头显示系统、远端驾驶室系统，其中，
环境感知系统包括安装在矿用卡车上的智能摄像头和毫米波雷达，智能摄像头用于感知矿用卡车周围的环境信息，毫米波雷达用于探测障碍物的信息（障碍物的信息包括距离、速度以及角度等），以及扫描道路或作业区边界；通过CAN数据方式将矿用卡车行驶状态信息、周围的环境信息及障碍物的信息传送给车载控制器；
安全预警系统通过环境感知系统采集到的信息对矿用卡车进行安全预警，输出矿用卡车的安全预警信息；安全预警系统，包括前方碰撞预警，车道偏离预警等；前方碰撞预警系统通过环境感知系统采集的前方矿用卡车的车速、距离等信息，判断出与本车发生碰撞的风险；车道偏离预警预警系统通过智能摄像头采集的矿山图片及综合地图信息，判断出矿山的山体边界，以确定出可行驶区域，防止矿用卡车跌落悬崖。
车载控制器多线程运行安全预警系统，通过以太网将环境感知系统获得的矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块；通过CAN数据方式将驾驶员驾驶行为信号数据传输至矿用卡车执行系统；
5G通信系统包括车载5G通信模块和远端遥控驾驶室5G通信模块，车载5G通信模块用于将矿用卡车的行驶信息、环境信息、安全预警信息上传至云服务器系统，从云服务器系统下载驾驶员驾驶行为信号数据，并通过以太网传输至车载控制器；远端遥控驾驶室5G通信模块用于从云服务器系统下载经叠加式抬头显示系统处理后的矿用卡车数据；
叠加式抬头显示系统包括抬头显示系统软件以及抬头显示硬件设备；抬头显示硬件设备设置于远端驾驶室系统中；
云服务器系统中运行叠加式抬头显示系统软件，云服务器系统的3D模型软件运行矿用卡车、矿区环境模型及相关资源信息；相比于本地服务器系统，云服务器系统具有更高的算力，更低的价格，而矿区环境相对较大，且细节信息也较为详尽才能保证远程遥控驾驶的安全性，因此选择本发明使用云服务器系统。
远端遥控驾驶室系统还包括模拟驾驶器，通过显示设备显示基于叠加式抬头显示系统处理的矿区环境及驾驶辅助元素，叠加行车提示信息，提示信息包括虚拟车道线，道路边界，导航路径，在路口提示左/右转，倒车时显示虚拟的装/卸载点及挡墙预警等，使远端驾驶室系统的驾驶员能够以沉浸式感受驾驶矿用卡车；采集驾驶员驾驶行为，主要包括转向，油门，制动等信号，并通过远端驾驶室5G通信模块上传至云服务器系统。
构建基于叠加式抬头显示的矿用卡车遥控驾驶系统，包括以下步骤：
Step1：构建叠加式抬头显示系统、矿用卡车及矿区环境模型；
Step2：配置云服务器系统；
Step3：搭建矿用卡车的环境感知系统及车载控制器；
Step4：调试车载5G通信模块，完成云服务器系统与车载控制器之间的信息传输；
Step5：建立远端驾驶室，包括叠加式抬头显示设备与模拟驾驶器；
Step6：调试远端驾驶室5G通信模块，完成云服务器系统与远端驾驶室之间的信息传输。
本发明通过叠加式抬头显示技术实时、准确构建作业矿用卡车的真实环境，再通过云端信息传输至安全、舒适的远端驾驶中心，以实现远程应急接管；能解决恶劣矿区环境对驾驶员身心健康产生巨大危害，从而影响矿区整体运输效率、加剧生产事故、拉升人力成本的问题。
基于前述矿用卡车远程应急接管系统的接管方法，接管方法包括以下步骤：
S1：环境感知系统将采集到的矿用卡车行驶状态信息、周围的环境信息及障碍物信息通过CAN数据方式传送给车载控制器；
S2：车载控制器多线程运行安全预警系统，输出矿用卡车的安全预警信息；
S3：车载控制器通过以太网将矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块，通过车载5G通信模块上传至云服务器系统；
S4：云服务器对环境感知系统、安全预警系统上传的车辆周边信息进行处理；
S5：云服务器系统中运行叠加式抬头显示系统，云服务器系统的3D模型软件运行矿用卡车、矿区环境、矿区车道边界模型。云服务器对环境感知系统上传的道路边界信息进行处理计算，行成虚拟车道边界模型，叠加至矿区道路模型上。同时在矿区环境模型叠加导航路径、行驶方向引导、停靠位示意图像等驾驶辅助信息，整体渲染形成融合数字信息与现场环境信息的抬头显示图像，通过GPS定位根据卡车所在位置和前方视野对影像进行实时刷新，下载至远端驾驶室进行显示；
S6：远端遥控驾驶室5G通信模块从云服务器系统下载经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，以及卡车的行驶信息、安全预警信息和卡车作业目的地、载货状态等作业相关信息；
S7：通过显示设备显示基于经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，根据驾驶过程中方向盘的控制显示行进方向示意或停靠辅助图像信息，叠加卡车返回的油门、刹车的开合度等相关卡车数据，提高驾驶员驾驶的临场感、安全性和准确性，且驾驶员能够实时观测卡车行驶数据，使远端遥控驾驶室的驾驶员以沉浸式感受驾驶矿用卡车；
S8：当远端驾驶室接收到安全预警系统上传的警示信息时，驾驶室显示设备显示对应的报警图标，同时声音设备输出报警语音；
S9：远端遥控驾驶室系统采集驾驶员遥控驾驶行为并通过远端遥控驾驶室5G通信模块上传至云服务器系统；
S10：矿用卡车车载5G通信模块从云服务器系统下载驾驶员驾驶遥控行为信号数据，通过以太网传输至车载控制器，车载控制器通过CAN数据方式传输至矿用卡车执行系统，从而实现对矿用卡车的远程应急接管。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于叠加式抬头显示的矿用卡车远程应急接管系统，其特征在于，包括环境感知系统、安全预警系统、矿用卡车执行系统、车载控制器、5G通信系统、云服务器系统、叠加式抬头显示系统、远端驾驶室系统，其中，
所述环境感知系统包括安装在矿用卡车上的智能摄像头和毫米波雷达，所述智能摄像头用于感知矿用卡车周围的环境信息，所述毫米波雷达用于探测障碍物的信息以及扫描道路或作业区边界；通过CAN数据方式将矿用卡车行驶状态信息、周围的环境信息及障碍物的信息传送给所述车载控制器；
所述安全预警系统通过所述环境感知系统采集到的信息对矿用卡车进行安全预警，输出矿用卡车的安全预警信息；
所述车载控制器多线程运行所述安全预警系统，通过以太网将所述环境感知系统获得的矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块；通过CAN数据方式将驾驶员驾驶行为信号数据传输至所述矿用卡车执行系统；
所述5G通信系统包括车载5G通信模块和远端驾驶室5G通信模块，所述车载5G通信模块用于将矿用卡车的行驶信息、环境信息、安全预警信息上传至云服务器系统，从云服务器系统下载驾驶员驾驶行为信号数据，并通过以太网传输至所述车载控制器；所述远端驾驶室5G通信模块用于从云服务器系统下载经所述叠加式抬头显示系统处理后的矿用卡车数据；
所述叠加式抬头显示系统包括叠加式抬头显示系统软件以及叠加式抬头显示硬件设备；所述叠加式抬头显示硬件设备设置于所述远端驾驶室系统中；
所述云服务器系统中运行所述叠加式抬头显示系统软件，所述云服务器系统的3D模型软件运行矿用卡车、矿区环境模型及相关资源信息；
所述远端驾驶室系统还包括模拟驾驶器，通过显示设备显示基于所述叠加式抬头显示系统处理的矿区环境及驾驶辅助元素，附加行车相关信息，使所述远端驾驶室系统的驾驶员能够以沉浸式感受驾驶矿用卡车；采集驾驶员驾驶行为并通过所述远端驾驶室5G通信模块上传至云服务器系统。
2.基于权利要求1所述的矿用卡车远程应急接管系统的驾驶方法，其特征在于，所述驾驶方法包括以下步骤：
S1：环境感知系统将采集到的矿用卡车行驶状态信息、周围的环境信息及障碍物信息通过CAN数据方式传送给车载控制器；
S2：车载控制器多线程运行安全预警系统，输出矿用卡车的安全预警信息；
S3：车载控制器通过以太网将矿用卡车的行驶信息、环境信息、安全预警信息上传至车载5G通信模块，通过车载5G通信模块上传至云服务器系统；
S4：云服务器处理环境感知系统、安全预警系统上传的车辆周边信息；
S5：云服务器系统中运行叠加式抬头显示系统，云服务器系统的3D模型软件运行矿用卡车、矿区环境、矿区车道边界模型，云服务器处理计算环境感知系统上传的道路边界信息，行成虚拟车道边界模型，叠加至矿区道路模型上；同时，在矿区环境模型叠加导航路径、行驶方向引导和停靠位示意图像，整体渲染形成融合数字信息与现场环境信息的抬头显示图像，通过GPS定位根据矿用卡车所在位置和前方视野对影像实时刷新，下载至远端驾驶室进行显示；
S6：远端驾驶室5G通信模块从云服务器系统下载经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，以及卡车的行驶信息、安全预警信息和卡车作业目的地、载货状态信息；
S7：通过显示设备显示经叠加式抬头显示系统处理后的矿用卡车驾驶抬头显示图像，根据驾驶过程中方向盘的控制显示行进方向示意或停靠辅助图像信息，叠加卡车返回的油门、刹车的开合度等相关卡车数据，提高驾驶员驾驶的临场感、安全性和准确性，且驾驶员能够实时观测卡车行驶数据，使远端驾驶室的驾驶员以沉浸式感受驾驶矿用卡车；
S8：当远端驾驶室系统接收到安全预警系统上传的警示信息时，驾驶室显示设备显示对应的报警图标，同时声音设备输出报警语音；
S9：远端驾驶室系统采集驾驶员驾驶行为并通过远端驾驶室5G通信模块上传至云服务器系统；
S10：矿用卡车车载5G通信模块从云服务器系统下载驾驶员驾驶行为信号数据，通过以太网传输至车载控制器，车载控制器通过CAN数据方式传输至矿用卡车执行系统，从而实现对矿用卡车的远程应急接管。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110456928.0A CN112987699B (zh) | 2021-04-27 | 2021-04-27 | 一种基于叠加式抬头显示的矿用卡车远程应急接管系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110456928.0A CN112987699B (zh) | 2021-04-27 | 2021-04-27 | 一种基于叠加式抬头显示的矿用卡车远程应急接管系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112987699A true CN112987699A (zh) | 2021-06-18 |
| CN112987699B CN112987699B (zh) | 2022-08-30 |
Family
ID=76341699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110456928.0A Active CN112987699B (zh) | 2021-04-27 | 2021-04-27 | 一种基于叠加式抬头显示的矿用卡车远程应急接管系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112987699B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024037431A1 (zh) * | 2022-08-13 | 2024-02-22 | 吉林省中赢高科技有限公司 | 一种通过无线网络控制的抬头显示系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102862568A (zh) * | 2012-08-31 | 2013-01-09 | 天津菲利科电子技术有限公司 | 远程实景代驾系统 |
| CN103413473A (zh) * | 2013-08-22 | 2013-11-27 | 北京科技大学 | 一种地下矿用铰接车的驾驶模拟系统 |
| CN108428357A (zh) * | 2018-03-22 | 2018-08-21 | 青岛慧拓智能机器有限公司 | 一种用于智能网联车的平行遥控驾驶系统 |
| CN108873898A (zh) * | 2018-06-26 | 2018-11-23 | 武汉理工大学 | 一种基于实时数据交互的沉浸式远程驾驶控制系统及方法 |
| CN109887286A (zh) * | 2019-03-22 | 2019-06-14 | 吉林大学 | 一种基于云平台的卡车驾驶指导系统及其指导方法 |
| CN111045425A (zh) * | 2019-12-05 | 2020-04-21 | 中国北方车辆研究所 | 一种地面无人车辆的辅助遥操作驾驶方法 |
| CN111866809A (zh) * | 2020-07-29 | 2020-10-30 | 江苏徐工工程机械研究院有限公司 | 一种无人矿卡远程遥控驾驶系统及方法 |
| CN112130545A (zh) * | 2020-09-28 | 2020-12-25 | 北京经纬恒润科技有限公司 | 一种远程驾驶的接管系统及方法 |
| CN112365216A (zh) * | 2020-12-02 | 2021-02-12 | 青岛慧拓智能机器有限公司 | 矿区无人运输仿真测试平台和矿区无人运输仿真方法 |
| CN112660207A (zh) * | 2020-12-18 | 2021-04-16 | 南京学府睿捷信息科技有限公司 | 一种可穿戴式地铁智能辅助驾驶系统 |
-
2021
- 2021-04-27 CN CN202110456928.0A patent/CN112987699B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102862568A (zh) * | 2012-08-31 | 2013-01-09 | 天津菲利科电子技术有限公司 | 远程实景代驾系统 |
| CN103413473A (zh) * | 2013-08-22 | 2013-11-27 | 北京科技大学 | 一种地下矿用铰接车的驾驶模拟系统 |
| CN108428357A (zh) * | 2018-03-22 | 2018-08-21 | 青岛慧拓智能机器有限公司 | 一种用于智能网联车的平行遥控驾驶系统 |
| CN108873898A (zh) * | 2018-06-26 | 2018-11-23 | 武汉理工大学 | 一种基于实时数据交互的沉浸式远程驾驶控制系统及方法 |
| CN109887286A (zh) * | 2019-03-22 | 2019-06-14 | 吉林大学 | 一种基于云平台的卡车驾驶指导系统及其指导方法 |
| CN111045425A (zh) * | 2019-12-05 | 2020-04-21 | 中国北方车辆研究所 | 一种地面无人车辆的辅助遥操作驾驶方法 |
| CN111866809A (zh) * | 2020-07-29 | 2020-10-30 | 江苏徐工工程机械研究院有限公司 | 一种无人矿卡远程遥控驾驶系统及方法 |
| CN112130545A (zh) * | 2020-09-28 | 2020-12-25 | 北京经纬恒润科技有限公司 | 一种远程驾驶的接管系统及方法 |
| CN112365216A (zh) * | 2020-12-02 | 2021-02-12 | 青岛慧拓智能机器有限公司 | 矿区无人运输仿真测试平台和矿区无人运输仿真方法 |
| CN112660207A (zh) * | 2020-12-18 | 2021-04-16 | 南京学府睿捷信息科技有限公司 | 一种可穿戴式地铁智能辅助驾驶系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024037431A1 (zh) * | 2022-08-13 | 2024-02-22 | 吉林省中赢高科技有限公司 | 一种通过无线网络控制的抬头显示系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112987699B (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3076006C (en) | Detecting and responding to propulsion and steering system errors for autonomous vehicles | |
| CN110775063B (zh) | 一种车载设备的信息显示方法、装置及车辆 | |
| US11332132B2 (en) | Method of handling occlusions at intersections in operation of autonomous vehicle | |
| US20190179305A1 (en) | Safety of autonomous vehicles using a virtual augmented support environment | |
| CN111915915A (zh) | 驾驶场景重构方法、装置、系统、车辆、设备及存储介质 | |
| US10843722B2 (en) | Systems and methods for controlling an input device of an autonomous vehicle | |
| CN113968216A (zh) | 一种车辆碰撞检测方法、装置及计算机可读存储介质 | |
| CN109421741A (zh) | 用于监测车辆的方法和设备 | |
| US20230194286A1 (en) | Systems, Methods, and Apparatus for using Remote Assistance to Navigate in an Environment | |
| EP4202587A1 (en) | Methods and systems for providing incremental remote assistance to an autonomous vehicle | |
| JP2022526376A (ja) | 自律型車両の例外処理 | |
| CN117813227A (zh) | 用于自主交通工具的互补控制系统 | |
| CN112987699B (zh) | 一种基于叠加式抬头显示的矿用卡车远程应急接管系统 | |
| US20240217546A1 (en) | Remote live map system for autonomous vehicles | |
| EP4170450B1 (en) | Method and system for switching between local and remote guidance instructions for an autonomous vehicle | |
| US20230192124A1 (en) | Methods and Systems for Providing Remote Assistance to an Autonomous Vehicle | |
| Kawasaki et al. | Teammate Advanced Drive System Using Automated Driving Technology | |
| CN115718439A (zh) | 远程驾驶员支持方法、远程驾驶员支持系统和存储介质 | |
| JP2023149591A (ja) | 運転支援装置及び運転支援方法 | |
| CN116931498B (zh) | 一种人机共驾系统、方法及装置 | |
| WO2024193307A1 (zh) | 一种避让控制方法、智能设备及车辆 | |
| EP4202586A1 (en) | User interface for recommending remote assistance actions | |
| TR2022021363A2 (tr) | Otonom otopi̇lot bi̇lgi̇sayar mi̇mari̇si̇ si̇stemi̇ | |
| CN117152993A (zh) | Ar设备控制方法、车载ar设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 303, Zone D, Main Building of Beihang Hefei Science City Innovation Research Institute, No. 999 Weiwu Road, Xinzhan District, Hefei City, Anhui Province, 230012 Patentee after: Tage Zhixing Technology Co.,Ltd. Country or region after: China Address before: 100176 901, 9th floor, building 2, yard 10, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee before: BEIJING TAGE IDRIVER TECHNOLOGY CO.,LTD. Country or region before: China |
|
| CP03 | Change of name, title or address |