CN113093714A - 一种基于无人车远程驾驶的人机交互操作界面显示方法及装置 - Google Patents
一种基于无人车远程驾驶的人机交互操作界面显示方法及装置 Download PDFInfo
- Publication number
- CN113093714A CN113093714A CN202110212041.7A CN202110212041A CN113093714A CN 113093714 A CN113093714 A CN 113093714A CN 202110212041 A CN202110212041 A CN 202110212041A CN 113093714 A CN113093714 A CN 113093714A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- window
- remote
- driving
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000004380 ashing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
- G05D1/0061—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
Abstract
本发明公开了一种基于无人车远程驾驶的人机交互操作界面显示方法及装置，方法步骤如下：生成远程监控界面，生成初始化视频窗口，生成初始化虚拟仪表盘窗口，生成初始化车辆列表窗口；人机交互操作界面接收车辆列表信息，生成无人车驾驶车辆列表填入车辆列表窗口；在无人车行进中控操作界面，车辆列表操控窗口，进行远程车辆的接管与解除接管操作；远程接管无人机后，在虚拟仪表盘窗口显示车辆状态信息；远程接管无人机后，在视频窗口显示车辆前视和后视媒体图像；生产并显示用户远程驾驶的人机交互操作界面。本发明解决了现有监控系统显示车辆行进环境延时大，对车辆进行远程控制响应慢，以至远程驾驶舱无法对无人车进行高速驾驶的问题。
Description
技术领域：
本发明涉及一种基于无人车远程驾驶的人机交互操作界面显示方法及装置，其属于电动汽车智能驾驶技术领域。
背景技术：
无人车在运行中依靠车载雷达、GPS等设备组成的无人车端信号感知探测系统，能够获取精度可靠的位置信息、运动信息、所处的静态环境信息、周围的动态目标信息和车辆的状态信息，并通过无线通讯网络经云端服务器转发远程驾驶舱。当无人驾驶系统遇到无法处理的异常状况，主动发出请求接管信号，将车辆控制权交给远程驾驶舱控制平台。
由于车辆在高速行进，无线通讯网络有延时，这就造成了远程驾驶存在数据传输延时大，控制信号响应慢的状况。
因此，有必要提供改进的技术方案，以解决以上的技术问题，实现无人车远程驾驶稳定可靠的实时响应。
发明内容：
本发明是为了解决上述现有技术存在的问题而提供一种基于无人车远程驾驶的人机交互操作界面显示方法及装置，解决了现有监控系统显示车辆行进环境延时大，对车辆进行远程控制响应慢，以至远程驾驶舱无法对无人车进行高速驾驶的问题。
本发明采用如下技术方案：一种基于无人车远程驾驶的人机交互操作界面显示方法，具体步骤如下：
S10、生成远程监控界面，生成初始化视频窗口，生成初始化虚拟仪表盘窗口，生成初始化车辆列表窗口；
S20、人机交互操作界面接收车辆列表信息，生成无人车驾驶车辆列表填入车辆列表窗口；
S30、在无人车行进中控操作界面，车辆列表操控窗口，进行远程车辆的接管与解除接管操作；
S40、远程接管无人机后，在虚拟仪表盘窗口显示车辆状态信息；
S50、远程接管无人机后，在视频窗口显示车辆前视和后视媒体图像；
S60、生产并显示用户远程驾驶的人机交互操作界面。
进一步地，S10具体包括如下：
1.1、生成视频窗口：左侧，初始化时候显示开沃汽车logo；
1.2、生成虚拟仪表盘窗口：右侧上部，初始化为灰化或者默认值，包括车速、剩余电量、挡位、驾驶控制模式、左转向灯、右转向灯、转速、方向盘转角、续航里程、近光灯、远光灯、示宽灯、雨刮器、安全带、信号强度、空调、车内温度、车门状态、心跳、车辆名称和车辆故障状态中的一种或多种车辆状态信息；
1.3、生成车辆列表窗口：右侧下部，初始化无任何信息。
进一步地，S30具体包括如下：
3.1、点击接管车辆；
3.2、根据接管车辆的返回信息，生成接管成功与失败提示框；
3.3、接管成功后，显示解除按钮，点击即可解除控制远程车辆。
进一步地，S60具体包括如下：
6.1、在虚拟仪表盘窗口，接收车辆状态信息，并显示；
6.2、在车辆列表窗口，接收车辆驾驶模式信息，并显示，进行解除控制远程车辆的操作。
本发明还采用如下技术方案：一种基于无人车远程驾驶的人机交互操作界面显示装置，包括依次排列的硬件层、逻辑层和应用层；
所述硬件层为硬件平台，其由驱动模块组成，提供统一的接口，所述逻辑层提供公共的API接口供应用接口供上层调用，所述应用层为程序的总体运行框架，组织调用业务逻辑，用嵌入式操作系统实现功能场景任务、状态数据任务、界面组件任务、图形任务、定制数据任务以及流媒体视频组件任务。
本发明具有如下有益效果：本发明提出的基于无人车远程驾驶的人机交互操作界面显示方法及装置，通过结合感知设备和融合技术，可对障碍物信息数据处理转化为可视化界面动态跟踪，通过视频窗口，可以更直观的为远程驾驶舱驾驶人员显示当前车辆运行环境。无人车行进监控界面中生成切换窗口，并进行告警提示，可使远程驾驶人员在远程操控无人车操控过程中更便捷获取告警信息，并深化了人机交互功能。基于本发明的显示装置和终端可是远程驾驶舱操控人员对无人车实时态势做出准确判断，有效提高了无人车远程驾驶的安全性和可靠性。
附图说明：
图1为本发明基于无人车远程驾驶的人机交互操作界面显示方法的流程示意图。
图2为本发明基于无人车远程驾驶的人机交互操作界面显示装置的示意图。
具体实施方式：
下面结合附图对本发明作进一步的说明。
本发明基于无人车远程驾驶的人机交互操作界面显示方法，具体步骤如下：
S10、生成远程监控界面，生成视频窗口(初始化)，生成虚拟仪表盘窗口(初始化)，生成车辆列表窗口(初始化)；
其中：
1.1、生成视频窗口：左侧，初始化时候显示开沃汽车logo。
1.2、生成虚拟仪表盘窗口：右侧上部，初始化为灰化或者默认值，包括车速、剩余电量、挡位、驾驶控制模式、左转向灯、右转向灯、转速、方向盘转角、续航里程、近光灯、远光灯、示宽灯、雨刮器、安全带、信号强度、空调、车内温度、车门状态、心跳、车辆名称和车辆故障状态中的一种或多种车辆状态信息。
1.3、生成车辆列表窗口：右侧下部，初始化无任何信息。
S20、人机交互操作界面接收车辆列表信息，生成无人车驾驶车辆列表填入车辆列表窗口(右侧下部)；
S30、在无人车行进中控操作界面，车辆列表操控窗口，进行远程车辆的接管与解除接管操作；
其中：
3.1、点击接管车辆。
3.2、根据接管车辆的返回信息，可生成接管成功与失败提示框。
3.3、接管成功后，可显示解除按钮，点击即可解除控制远程车辆。
S40、远程接管无人机后，在虚拟仪表盘窗口显示车辆状态信息；
S50、远程接管无人机后，在视频窗口显示车辆前视和后视媒体图像；
S60、生产并显示用户远程驾驶的人机交互操作界面；
其中：
6.1、在虚拟仪表盘窗口，接收车辆状态信息，并显示；
6.2、在车辆列表窗口，接收车辆驾驶模式信息，并显示，可进行解除控制远程车辆的操作。
本发明基于无人车远程驾驶的人机交互操作界面显示方法中：
可在视频窗口，显示基于在线地图API接口，结合实时的本车和周边数据的车辆与和周边障碍物的信息。
可在视频窗口，基于感知数据通过智驾系统障碍物识别技术，识别视频中的环境信息和障碍物信息并进行标绘，以及通过视觉增强技术提高低能见度天气条件下所呈现的视频画面的清晰度。
无人车运行状态提示信息通过GPS、激光雷达、毫米波雷达、超声波雷达、双目摄像机、摄像机、速度传感器、温度传感器、压力传感器、流量传感器中的一个或多个获取。
人机交互操作界面中还包括远程报警复位、车厢举升和下降按钮，可进行车辆警报复位，车厢举升和下降操作。
人机交互操作界面中还包括无人车到达、离开目的地提醒信息。
本发明基于无人车远程驾驶的人机交互操作界面显示装置，包括用于远程驾驶的人机交互操作界面显示装置，具体包括依次排列的硬件层、逻辑层和应用层。
其中硬件层为硬件平台，其由驱动模块组成，提供统一的接口。逻辑层提供公共的API接口供应用接口供上层调用。应用层为程序的总体运行框架，组织调用业务逻辑，可以用某种嵌入式操作系统实现几种任务，如功能场景任务，状态数据任务，界面组件任务，图形任务，定制数据任务，流媒体视频组件任务。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的保护范围。
Claims (5)
1.一种基于无人车远程驾驶的人机交互操作界面显示方法，其特征在于：具体步骤如下：
S10、生成远程监控界面，生成初始化视频窗口，生成初始化虚拟仪表盘窗口，生成初始化车辆列表窗口；
S20、人机交互操作界面接收车辆列表信息，生成无人车驾驶车辆列表填入车辆列表窗口；
S30、在无人车行进中控操作界面，车辆列表操控窗口，进行远程车辆的接管与解除接管操作；
S40、远程接管无人机后，在虚拟仪表盘窗口显示车辆状态信息；
S50、远程接管无人机后，在视频窗口显示车辆前视和后视媒体图像；
S60、生产并显示用户远程驾驶的人机交互操作界面。
2.如权利要求1所述的基于无人车远程驾驶的人机交互操作界面显示方法，其特征在于：S10具体包括如下：
2.1、生成视频窗口：左侧，初始化时候显示开沃汽车logo；
2.2、生成虚拟仪表盘窗口：右侧上部，初始化为灰化或者默认值，包括车速、剩余电量、挡位、驾驶控制模式、左转向灯、右转向灯、转速、方向盘转角、续航里程、近光灯、远光灯、示宽灯、雨刮器、安全带、信号强度、空调、车内温度、车门状态、心跳、车辆名称和车辆故障状态中的一种或多种车辆状态信息；
2.3、生成车辆列表窗口：右侧下部，初始化无任何信息。
3.如权利要求2所述的基于无人车远程驾驶的人机交互操作界面显示方法，其特征在于：S30具体包括如下：
3.1、点击接管车辆；
3.2、根据接管车辆的返回信息，生成接管成功与失败提示框；
3.3、接管成功后，显示解除按钮，点击即可解除控制远程车辆。
4.如权利要求3所述的基于无人车远程驾驶的人机交互操作界面显示方法，其特征在于：S60具体包括如下：
6.1、在虚拟仪表盘窗口，接收车辆状态信息，并显示；
6.2、在车辆列表窗口，接收车辆驾驶模式信息，并显示，进行解除控制远程车辆的操作。
5.一种基于无人车远程驾驶的人机交互操作界面显示装置，其特征在于：包括依次排列的硬件层、逻辑层和应用层；
所述硬件层为硬件平台，其由驱动模块组成，提供统一的接口，所述逻辑层提供公共的API接口供应用接口供上层调用，所述应用层为程序的总体运行框架，组织调用业务逻辑，用嵌入式操作系统实现功能场景任务、状态数据任务、界面组件任务、图形任务、定制数据任务以及流媒体视频组件任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110212041.7A CN113093714A (zh) | 2021-02-25 | 2021-02-25 | 一种基于无人车远程驾驶的人机交互操作界面显示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110212041.7A CN113093714A (zh) | 2021-02-25 | 2021-02-25 | 一种基于无人车远程驾驶的人机交互操作界面显示方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113093714A true CN113093714A (zh) | 2021-07-09 |
Family
ID=76667303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110212041.7A Pending CN113093714A (zh) | 2021-02-25 | 2021-02-25 | 一种基于无人车远程驾驶的人机交互操作界面显示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113093714A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108508882A (zh) * | 2017-02-28 | 2018-09-07 | 郑州宇通客车股份有限公司 | 一种车辆辅助驾驶控制平台 |
| CN111045425A (zh) * | 2019-12-05 | 2020-04-21 | 中国北方车辆研究所 | 一种地面无人车辆的辅助遥操作驾驶方法 |
| CN111582730A (zh) * | 2020-05-11 | 2020-08-25 | 新石器慧通（北京）科技有限公司 | 一种无人车远程接管控制方法、装置、系统和存储介质 |
| CN112147990A (zh) * | 2020-09-21 | 2020-12-29 | 新石器慧义知行智驰(北京)科技有限公司 | 车辆远程监控方法、装置、电子设备及可读存储介质 |
| CN212473432U (zh) * | 2020-04-26 | 2021-02-05 | 杭州锣福网络科技有限公司 | 一种基于5g技术的无人车远程驾驶系统 |
-
2021
- 2021-02-25 CN CN202110212041.7A patent/CN113093714A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108508882A (zh) * | 2017-02-28 | 2018-09-07 | 郑州宇通客车股份有限公司 | 一种车辆辅助驾驶控制平台 |
| CN111045425A (zh) * | 2019-12-05 | 2020-04-21 | 中国北方车辆研究所 | 一种地面无人车辆的辅助遥操作驾驶方法 |
| CN212473432U (zh) * | 2020-04-26 | 2021-02-05 | 杭州锣福网络科技有限公司 | 一种基于5g技术的无人车远程驾驶系统 |
| CN111582730A (zh) * | 2020-05-11 | 2020-08-25 | 新石器慧通（北京）科技有限公司 | 一种无人车远程接管控制方法、装置、系统和存储介质 |
| CN112147990A (zh) * | 2020-09-21 | 2020-12-29 | 新石器慧义知行智驰(北京)科技有限公司 | 车辆远程监控方法、装置、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106774291B (zh) | 一种自动驾驶电动汽车的电控系统 | |
| CN111169479B (zh) | 一种巡航控制方法、装置、系统、车辆及存储介质 | |
| JP6706845B2 (ja) | 遠隔操縦装置、遠隔操縦方法 | |
| CN109987099B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
| CN114911242A (zh) | 无人驾驶汽车的控制方法、汽车和存储介质 | |
| US20220113722A1 (en) | Method for remote control of autonomous driving vehicle, autonomous driving vehicle and cloud device | |
| CN112550309B (zh) | 自动驾驶车辆、信息显示方法、装置、设备以及存储介质 | |
| CN107871399B (zh) | 车辆自动驾驶系统及方法 | |
| CN104260669A (zh) | 一种智能汽车抬头显示器 | |
| US20200070721A1 (en) | Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers | |
| US10748012B2 (en) | Methods and apparatus to facilitate environmental visibility determination | |
| CN105974920A (zh) | 一种无人驾驶系统 | |
| CN112590784B (zh) | 一种客车用域控制系统及方法 | |
| JP2023126642A (ja) | 情報処理装置、情報処理方法、及び、情報処理システム | |
| CN112339741A (zh) | 一种自动驾驶实施的方法 | |
| JP2019014300A (ja) | 車両制御システム、車両制御方法、およびプログラム | |
| CN111009147A (zh) | 一种车辆远程委托代驾系统及其运用方法 | |
| US11513513B2 (en) | Method for invoking a teleoperated driving session, apparatus for performing the steps of the method, vehicle and computer program | |
| CN109839281A (zh) | 一种实车测试采集系统和方法 | |
| US20210370832A1 (en) | Data processing methods, devices, and apparatuses, and movable platforms | |
| CN113093714A (zh) | 一种基于无人车远程驾驶的人机交互操作界面显示方法及装置 | |
| CN115497338B (zh) | 辅路路口的盲区预警系统、方法及装置 | |
| US20220397898A1 (en) | Remote control request system, remote control request method, and nontransitory storage medium | |
| CN110322679B (zh) | 车辆交通事故远程驾驶接管救援方法及系统 | |
| CN117191065A (zh) | 自动驾驶方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210709 |
|
| RJ01 | Rejection of invention patent application after publication |