CN110096204A - 具有数据可视化功能的人机交互方法 - Google Patents

Abstract

本发明公开了一种具有数据可视化功能的人机交互方法，包括：设置与车辆的前视摄像头和场端布置的激光雷达分别连接的存储模块，并保存由前视摄像头或激光雷达获取的监测影像信息；设置包含显示界面的场端后台；用户在显示界面上进行模式选择；显示界面根据用户的模式选择进行相应的显示；其中，用户选择的模式包括：实时模式和回放模式；用户的选择为实时模式时，场端后台连接前视摄像头和激光雷达，并实时显示由前视摄像头和激光雷达获取的监测影像信息；用户的选择为回放模式时，场端后台显示由存储模块调取的监测影像信息。其能够实现自动驾驶记录回放，以及实时监控自动驾驶状态，并通过图形化进行显示，开发成本低，显示直观，易于上手。

Description

具有数据可视化功能的人机交互方法

技术领域

本发明涉及自动驾驶汽车技术领域，尤其涉及一种具有数据可视化功能的人机交互方法。

背景技术

车辆自动驾驶系统的开发往往需要大量的调试和验证。实车调试的方式通常需要大量的人力和物力成本，而且具有一定的风险性。因而现在可以通过车辆自动驾驶模拟器进行初步的调试和验证。

然而，市场上已实现的自动驾驶模拟器的显示界面大多为文本化显示，且基本均只支持某一功能或每个功能需要调用一个软件，具体的具有以下缺陷：

1、功能单一，使用多个功能需要切换软件；

2、软件功能文本化，缺乏图形化显示，不直观；

3、过于专业化，交互不友好，对于普通运营人员来说，学习成本过高。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种具有数据可视化功能的人机交互方法，能够实现自动驾驶记录回放，以及实时监控自动驾驶状态，并通过图形化进行显示，开发成本低，显示直观，易于上手。

为实现上述目的和一些其他的目的，本发明采用如下技术方案：

一种具有数据可视化功能的人机交互方法，主要包括以下步骤：

步骤1、设置与车辆的前视摄像头和场端布置的激光雷达分别通讯连接的存储模块，并保存由所述前视摄像头或激光雷达获取的监测影像信息；

步骤2、设置包含显示界面的场端后台；用户在所述显示界面上进行模式选择；所述显示界面根据用户选择的模式进行相应的显示；

其中，所述用户选择的模式包括：实时模式和回放模式；所述用户的选择为实时模式时，所述场端后台连接所述前视摄像头和激光雷达，并实时显示由所述前视摄像头和激光雷达获取的监测影像信息；所述用户的选择为回放模式时，所述场端后台连接所述存储模块，并显示由所述存储模块调取的监测影像信息。

优选的是，所述的具有数据可视化功能的人机交互方法中，步骤2中，所述监测影像信息以摄像头视图或数据可视化视图两种视图模式在所述显示界面上显示。

优选的是，所述的具有数据可视化功能的人机交互方法中，步骤2中，所述显示界面的下方显示当前车辆的状态信息，所述当前车辆的状态信息包括：方向盘角度、转向灯、车速、加速度、当前所处状态、车辆ID、用户ID以及障碍车速度。

优选的是，所述的具有数据可视化功能的人机交互方法中，所述用户的选择还包括渲染操作；所述渲染操作的具体步骤为：

步骤1-1、点击所述显示界面上的渲染操作按键，所述渲染操作的选项显示在所述显示界面上；

步骤2-1、用户根据需要点击相应的渲染操作的选项，所述场端后台根据用户选择的渲染操作的选项对显示界面上显示的影像信息添加对应的渲染。

优选的是，所述的具有数据可视化功能的人机交互方法中，所述渲染操作的选项包括：视图、地图、坐标、车辆和障碍物的显示或关闭；显示内容、数值、视图的显示主题；视图的样式，以及视图的颜色中的一种或多种。

优选的是，所述的具有数据可视化功能的人机交互方法中，所述用户的选择还包括数据可视化视图的操作，所述数据可视化视图的操作通过操作连接于所述场端后台的鼠标来实现；操作所述鼠标对显示界面上显示的数据可视化视图进行放大、缩放、移动或转换视图视角操作。

优选的是，所述的具有数据可视化功能的人机交互方法中，所述用户的选择还包括监测影像信息的编辑；所述监测影像信息的编辑仅适用于所述回放模式下显示的影像信息，具体包括如下操作：

A、通过拖动或点击设置于所述回放模式下显示的监测影像信息的底部的进度条，选择想要观看的相应时间点的监测影像信息；

B、通过点击设置于所述进度条上的事件名称，选择想要观看的相应事件名称对应的监测影像信息；

C、通过点击设置于所述回放模式下显示的影像信息侧方的速度按键，调整监测影像信息的播放速度；

D、通过点击设置于所述回放模式下显示的监测影像信息侧方的剪切按键，对显示的监测影像信息进行剪切，并在剪切后选择取消或保存操作；且在用户选择保存操作后，所述剪切后的监测影像信息保存在所述用户选择的存储位置；以及

E、通过点击设置于所述回放模式下显示的监测影像信息侧方的设置按键，所述显示界面上显示设置选项，所述设置选项包括：查看记录信息和查找障碍物。

优选的是，所述的具有数据可视化功能的人机交互方法中，所述事件名称为在影像信息上按照时间点进行的事件标记。

优选的是，所述的具有数据可视化功能的人机交互方法中，所述用户的选择还包括用户类型的选择；所述显示界面上显示的内容和显示方式按照用户类型进行保存，用户在选择了用户类型后，所述显示界面上显示相应用户类型对应的显示内容、显示方式和渲染方式。

优选的是，所述的具有数据可视化功能的人机交互方法中，所述用户的选择还包括自动泊车操作，所述自动泊车操作的具体步骤如下：

步骤2-1、实时模式下所述显示界面上显示的视频信息的下方显示开始泊车按键和时间；

步骤2-2、用户点击开始泊车按键后，场端后台向车辆发送自动泊车指令；车辆开始执行自动泊车；

步骤2-3、所述显示界面上显示录制记录文件按键，用户点击所述录制记录文件按键后，场端后台调用所述摄像头对车辆的自动泊车过程进行录制，并将录制的影像在所述存储模块内保存。

本发明至少包括以下有益效果：

本发明的具有数据可视化功能的人机交互方法中，通过场端后台以及存储模块与车辆前视摄像头和场端激光雷达的配合，实现了实时驾驶监控和回放的分时显示，同一处理单元能够实现多种功能，大大减少了开发成本。

通过场端激光雷达以及车辆的前视摄像头和场端后台的连接，实现了将人机交互应用于实际场地运营，并配合显示界面的设置，方便了相关人员以可视化的页面监控场端的情况。

通过存储模块的设置，可以重放之前记录的监测影像信息，方便在调试阶段出现问题时能够快速找到问题的所在，同时，通过分析调研开发人员在开发、运营中的使用情况及遇到的问题，能够在交互层面上优化用户体验，从而确保一般用户也能快速上手，降低了普通运营人员的学习成本。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

具体实施方式

下面对本发明做详细说明，以令本领域普通技术人员参阅本说明书后能够据以实施。

一种具有数据可视化功能的人机交互方法，主要包括以下步骤：

步骤1、设置与车辆的前视摄像头和场端布置的激光雷达分别通讯连接的存储模块，并保存由所述前视摄像头或激光雷达获取的监测影像信息；

步骤2、设置包含显示界面的场端后台；用户在所述显示界面上进行模式选择；所述显示界面根据用户选择的模式进行相应的显示；

其中，所述用户选择的模式包括：实时模式和回放模式；所述用户的选择为实时模式时，所述场端后台连接所述前视摄像头和激光雷达，并实时显示由所述前视摄像头和激光雷达获取的监测影像信息；所述用户的选择为回放模式时，所述场端后台连接所述存储模块，并显示由所述存储模块调取的监测影像信息。

在上述方案中，通过场端后台以及存储模块与车辆前视摄像头和场端激光雷达的配合，实现了实时驾驶监控和回放的分时显示，同一处理单元能够实现多种功能，大大减少了开发成本。

通过场端激光雷达以及车辆的前视摄像头和场端后台的连接，实现了将人机交互应用于实际场地运营，并配合显示界面的设置，方便了相关人员以可视化的页面监控场端的情况。

通过存储模块的设置，可以重放之前记录的监测影像信息，方便在调试阶段出现问题时能够快速找到问题的所在，同时，通过分析调研开发人员在开发、运营中的使用情况及遇到的问题，能够在交互层面上优化用户体验，从而确保一般用户也能快速上手，降低了普通运营人员的学习成本。

一个优选方案中，步骤2中，所述监测影像信息以摄像头视图或数据可视化视图两种视图模式在所述显示界面上显示。

在上述方案中，影像信息以摄像头视图或数据可视化视图两种视图模式进行显示，使得在数据可视化视图模式进行显示时，可以对监测影像信息进行任意的观看视角的切换，方便用户的使用，而在摄像头视图模式显示时，影像信息仅用于观看，避免用户的误操作。

一个优选方案中，步骤2中，所述显示界面的下方显示当前车辆的状态信息，所述当前车辆的状态信息包括：方向盘角度、转向灯、车速、加速度、当前所处状态、车辆ID、用户ID以及障碍车速度。

在上述方案中，通过在显示界面上显示地图、坐标、车辆、障碍物等多种数据，方便用户实时了解车辆行驶情况，以便于清楚的了解车辆的测试情况。

一个优选方案中，所述用户的选择还包括渲染操作；所述渲染操作的具体步骤为：

步骤1-1、点击所述显示界面上的渲染操作按键，所述渲染操作的选项显示在所述显示界面上；

步骤2-1、用户根据需要点击相应的渲染操作的选项，所述场端后台根据用户选择的渲染操作的选项对显示界面上显示的影像信息添加对应的渲染。

在上述方案中，通过渲染操作的设置，使得用户能够根据需要对显示界面显示的内容进行调整，使得用户的使用更加灵活方便，用户使用体验更好。

一个优选方案中，所述渲染操作的选项包括：视图、地图、坐标、车辆和障碍物的显示或关闭；显示内容、数值、视图的显示主题；视图的样式，以及视图的颜色中的一种或多种。

在上述方案中，渲染操作的选项包括视图、地图、坐标、车辆和障碍物的显示或关闭；显示内容、数值、视图的显示主题；视图的样式，以及视图的颜色中的一种或多种。

一个优选方案中，所述用户的选择还包括数据可视化视图的操作，所述数据可视化视图的操作通过操作连接于所述场端后台的鼠标来实现；操作所述鼠标对显示界面上显示的数据可视化视图进行放大、缩放、移动或转换视图视角操作。

在上述方案中，通过鼠标的设置，可以实现对视图的多种操作，便捷灵活。

一个优选方案中，所述用户的选择还包括监测影像信息的编辑；所述监测影像信息的编辑仅适用于所述回放模式下显示的影像信息，具体包括如下操作：

A、通过拖动或点击设置于所述回放模式下显示的监测影像信息的底部的进度条，选择想要观看的相应时间点的监测影像信息；

B、通过点击设置于所述进度条上的事件名称，选择想要观看的相应事件名称对应的监测影像信息；

C、通过点击设置于所述回放模式下显示的影像信息侧方的速度按键，调整监测影像信息的播放速度；

D、通过点击设置于所述回放模式下显示的监测影像信息侧方的剪切按键，对显示的监测影像信息进行剪切，并在剪切后选择取消或保存操作；且在用户选择保存操作后，所述剪切后的监测影像信息保存在所述用户选择的存储位置；以及

E、通过点击设置于所述回放模式下显示的监测影像信息侧方的设置按键，所述显示界面上显示设置选项，所述设置选项包括：查看记录信息和查找障碍物。

在上述方案中，通过监测影像信息的编辑的设置，使得用户可对显示的视频信息进行剪切、快进、跳转播放、按照事件进行选择播放等多种操作，方便了用户的使用。

一个优选方案中，所述事件名称为在影像信息上按照时间点进行的事件标记。

在上述方案中，通过事件标记视频信息，能够便于用户对于有效信息的快速获取，所述事件标记可以包括：泊车和高速；其中泊车又可以包括：开始泊车、进入车位以及泊车完成；高速又可以包括：进入高速、驶出高速、进入匝道、驶出匝道、变道以及超车。

一个优选方案中，所述用户的选择还包括用户类型的选择；所述显示界面上显示的内容和显示方式按照用户类型进行保存，用户在选择了用户类型后，所述显示界面上显示相应用户类型对应的显示内容、显示方式和渲染方式。

在上述方案中，通过用户类型的选择的设置，使得用户可以通过选择自己的用户类型，自动在显示单元上显示该类型常用的内容、显示方式以及渲染方式，以便于用户的使用，提高了用户的使用体验。

一个优选方案中，所述用户的选择还包括自动泊车操作，所述自动泊车操作的具体步骤如下：

步骤2-1、实时模式下所述显示界面上显示的视频信息的下方显示开始泊车按键和时间；

步骤2-2、用户点击开始泊车按键后，场端后台向车辆发送自动泊车指令；车辆开始执行自动泊车；

步骤2-3、所述显示界面上显示录制记录文件按键，用户点击所述录制记录文件按键后，场端后台调用所述摄像头对车辆的自动泊车过程进行录制，并将录制的影像在所述存储模块内保存。

本发明的技术方案现阶段的实施进度为：

所述的具有数据可视化功能的人机交互方法可以基于Linux的桌面软件进行实现，具体为：

软件启动后，首先选择工作模式：回放模式、实时模式。

1、选择回放模式后，自动弹出对话框要求用户选择历史数据记录文件。

2、选择实时模式后，自动通过网络连接场端，获取实时信息。

显示屏的用户页面左侧设置工具条，能够提供渲染设置功能，未来可能根据用户选择增加工具功能。

点击“渲染设置”，向右扩展为选项列表，列表中可调整包括但不限于“视图、地图、坐标、车辆、障碍物的显示与否、显示内容、具体数值、模拟视图中的显示主题/样式/颜色”。

列表头部提供了根据用户类型默认的分类，方便用户通过选择自己的用户类型，自动显示该类型常用的内容及显示方式。

扩展列表可以收起，收起后恢复默认的按钮状态。

用户页面正中显示摄像头视图与数据可视化视图。

数据可视化视图中，可以使用鼠标滚轮进行视图缩放，或按住鼠标左键拖动视图视角。

在数据可视化视图左上，提供常用视角选择，目前有“左侧视角、右侧视角、俯视视角、后视视角”。点击选择后，当前视图自动切换为选择的视角。

在视图区域点击鼠标右键，呼出操作菜单，可用操作有：1)增加模拟图像视图；2)增加摄像头视图；3)删除视图(鼠标点击右键时所处的视图)。

鼠标移动至两(或更多)视图交界处，鼠标变形为“拉伸”指针，按住拖动可以调整相关视图尺寸。

用户页面右下显示当前车辆状态信息，显示内容包括但不限于“方向盘角度、转向灯、车速、加速度”。

点击右上放大按钮，区域扩展至用户页面右侧，显示更多信息，显示内容包括但不限于“方向盘角度、转向灯、车速、加速度、当前所处状态、车辆ID、用户ID、障碍车速度”。

放大后点击左侧收起按钮，区域恢复至页面右下显示。

在回放模式下，页面底部显示进度条，可通过点击或拖动选择时间。

进度条下根据各重要事件发生时间，将事件排列在进度条时间点上，点击事件名称可以直接跳转至该时间段。

进度条上方显示“播放/暂停”按钮，点击切换“播放/暂停”状态。

“播放/暂停”按钮右侧显示“已回放时间/总时间”，在回放模式下，同时显示该点对应的现实世界时间。

最右侧显示速度、剪切录像、和设置按钮。

点击“速度”按钮，呼出下拉菜单，可调节播放速度，默认为1倍速。可调节速度包括但不限于“逐帧播放、0.01倍、0.1倍、0.25倍、0.5倍、1倍、1.5倍、2倍、5倍、10倍、100倍”。

点击“剪切录像”按钮，右侧按钮变为“取消”，“保存”。进度条上前后各显示一个滑动块。可使用两个滑动块选取要剪切的部分。点击“保存”后，弹出对话框编辑剪切内容名称及保存位置。

点击“设置”按钮，呼出下拉菜单，菜单内容包括但不限于“查看记录信息、查找障碍物”。

在实时模式下进行自动泊车时，进度条一栏会显示“开始泊车”按钮及时间显示。

开始泊车后，会显示“录制记录文件”按钮，点击后保存本次泊车记录文件。

具体的，上述方案通过将监控和回放功能整合进一个软件中，大大减少了开发成本；通过该软件监控，可以应用于实际场地运营中，方便管理人员以可视化的页面监控场端情况；通过该软件回放，可以重放之前的记录文件，在出现问题后可以快速找到问题所在，从而减少实车测试数量，大大降低测试时间、环境污染、测试人员工作量；通过分析调研开发人员在开发、运营中的使用情况及遇到的问题，在交互层面上优化了用户体验，确保了一般用户也能快速上手。

具体的实现了：自动驾驶记录回放；实时监控自动驾驶状态；根据用户类型，提供常用渲染设置集；可通过模拟器开启自动驾驶进程；显示自动驾驶车辆完整信息；以及图形化显示自动驾驶记录。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (10)

1.一种具有数据可视化功能的人机交互方法，其中，主要包括以下步骤：

步骤1、设置与车辆的前视摄像头和场端布置的激光雷达分别通讯连接的存储模块，并保存由所述前视摄像头或激光雷达获取的监测影像信息；

步骤2、设置包含显示界面的场端后台；用户在所述显示界面上进行模式选择；所述显示界面根据用户选择的模式进行相应的显示；

其中，所述用户选择的模式包括：实时模式和回放模式；所述用户的选择为实时模式时，所述场端后台连接所述前视摄像头和激光雷达，并实时显示由所述前视摄像头和激光雷达获取的监测影像信息；所述用户的选择为回放模式时，所述场端后台连接所述存储模块，并显示由所述存储模块调取的监测影像信息。

2.如权利要求1所述的具有数据可视化功能的人机交互方法，其中，步骤2中，所述监测影像信息以摄像头视图或数据可视化视图两种视图模式在所述显示界面上显示。

3.如权利要求1所述的具有数据可视化功能的人机交互方法，其中，步骤2中，所述显示界面的下方显示当前车辆的状态信息，所述当前车辆的状态信息包括：方向盘角度、转向灯、车速、加速度、当前所处状态、车辆ID、用户ID以及障碍车速度。

4.如权利要求2所述的具有数据可视化功能的人机交互方法，其中，所述用户的选择还包括渲染操作；所述渲染操作的具体步骤为：

步骤1-1、点击所述显示界面上的渲染操作按键，所述渲染操作的选项显示在所述显示界面上；

步骤2-1、用户根据需要点击相应的渲染操作的选项，所述场端后台根据用户选择的渲染操作的选项对显示界面上显示的影像信息添加对应的渲染。

5.如权利要求4所述的具有数据可视化功能的人机交互方法，其中，所述渲染操作的选项包括：视图、地图、坐标、车辆和障碍物的显示或关闭；显示内容、数值、视图的显示主题；视图的样式，以及视图的颜色中的一种或多种。

6.如权利要求2所述的具有数据可视化功能的人机交互方法，其中，所述用户的选择还包括数据可视化视图的操作，所述数据可视化视图的操作通过操作连接于所述场端后台的鼠标来实现；操作所述鼠标对显示界面上显示的数据可视化视图进行放大、缩放、移动或转换视图视角操作。

7.如权利要求2所述的具有数据可视化功能的人机交互方法，其中，所述用户的选择还包括监测影像信息的编辑；所述监测影像信息的编辑仅适用于所述回放模式下显示的影像信息，具体包括如下操作：

A、通过拖动或点击设置于所述回放模式下显示的监测影像信息的底部的进度条，选择想要观看的相应时间点的监测影像信息；

B、通过点击设置于所述进度条上的事件名称，选择想要观看的相应事件名称对应的监测影像信息；

C、通过点击设置于所述回放模式下显示的影像信息侧方的速度按键，调整监测影像信息的播放速度；

D、通过点击设置于所述回放模式下显示的监测影像信息侧方的剪切按键，对显示的监测影像信息进行剪切，并在剪切后选择取消或保存操作；且在用户选择保存操作后，所述剪切后的监测影像信息保存在所述用户选择的存储位置；以及

E、通过点击设置于所述回放模式下显示的监测影像信息侧方的设置按键，所述显示界面上显示设置选项，所述设置选项包括：查看记录信息和查找障碍物。

8.如权利要求7所述的具有数据可视化功能的人机交互方法，其中，所述事件名称为在影像信息上按照时间点进行的事件标记。

9.如权利要求2所述的具有数据可视化功能的人机交互方法，其中，所述用户的选择还包括用户类型的选择；所述显示界面上显示的内容和显示方式按照用户类型进行保存，用户在选择了用户类型后，所述显示界面上显示相应用户类型对应的显示内容、显示方式和渲染方式。

10.如权利要求2所述的具有数据可视化功能的人机交互方法，其中，所述用户的选择还包括自动泊车操作，所述自动泊车操作的具体步骤如下：

步骤2-1、实时模式下所述显示界面上显示的视频信息的下方显示开始泊车按键和时间；

步骤2-2、用户点击开始泊车按键后，场端后台向车辆发送自动泊车指令；车辆开始执行自动泊车；

步骤2-3、所述显示界面上显示录制记录文件按键，用户点击所述录制记录文件按键后，场端后台调用所述摄像头对车辆的自动泊车过程进行录制，并将录制的影像在所述存储模块内保存。