CN111595357B - 可视化界面的显示方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种可视化界面的显示方法、装置、电子设备和存储介质，显示方法包括：确定目标车辆执行行驶任务；根据目标车辆实时位置显示预设范围内地图；在地图上为目标车辆所检测到的第一对象显示第一对象模型；为检测到的非第一对象显示至少包括点云数据的第二对象模型。解决了对非第一对象分类不准确或者无法分类，造成在可视化界面为非第一对象显示错误的模型甚至不显示模型问题，能够为目标车辆所检测到的、分类准确的第一对象显示第一对象模型，分类不准确或者无法分类的非第一对象显示包含点云的第二对象模型，既为第一对象和非第一对象显示模型，又无需为非第一对象进行分类和渲染模型，提高了用户体验。

Description

可视化界面的显示方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及自动驾驶技术领域，尤其涉及一种可视化界面的显示方法、装置、电子设备和存储介质。

背景技术

随着科技的发展，汽车自动驾驶技术正处在蓬勃发展的关键时期，为了提高用户体验，可对驾驶环境进行可视化处理来实时显示汽车周围的环境。

在现有技术中，通过可视化界面显示驾驶环境时，在可视化界面显示电子地图，并通过汽车上的传感器获得汽车周围环境的点云数据，将点云数据输入预先训练的分类模型中得到汽车周围各个物体的分类结果，例如分类结果可以是车辆、行人、自行车、雪糕筒等等，然后通过分类结果匹配相应的模型显示在地图上以实现驾驶环境的可视化显示。

在实际应用中，由于点云数据采集的精度或者分类模型的准确度不高，造成分类模型对某类物体(例如车辆)的分类准确，对其他类别物体(例如车辆以外的物体)分类不准确，甚至无法进行分类，进一步导致在可视化界面为分类不准确的物体显示错误的模型甚至不显示任何模型，这无疑降低了用户体验。

发明内容

本发明实施例提供一种可视化界面的显示方法、装置、电子设备和存储介质，以解决现有技术中对物体分类不准确，导致在可视化界面为分类不准确的物体显示错误的模型甚至不显示模型，降低了用户体验的问题。

第一方面，本发明实施例提供了一种可视化界面的显示方法，包括：

确定目标车辆执行行驶任务；

根据所述目标车辆实时位置显示预设范围内地图；

在所述地图上显示对象模型，其中，

为所述目标车辆所检测到的第一对象显示第一对象模型；

为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型。

可选地，还包括：

根据所述目标车辆的实时位置在所述地图上为所述目标车辆显示车辆模型。

可选地，所述为所述目标车辆所检测到的第一对象显示第一对象模型，包括：

获取所述目标车辆在执行所述行驶任务时所检测到的环境信息；

识别所述环境信息中所述第一对象的位置和类型；

根据所述第一对象的类型获取适配的第一对象模型；

根据所述第一对象的位置显示所述第一对象模型。

可选地，所述为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型，包括：

获取所述目标车辆在执行所述行驶任务时所检测到的环境信息；

识别所述环境信息中所述第二对象的位置和类型；

从所述环境信息中提取所述第二对象的点云；

根据所述第二对象的位置显示至少包含所述点云的第二对象模型。

可选地，还包括：

显示所述目标车辆执行所述行驶任务的任务进度信息，其中，所述任务进度信息包括进度条、已行驶的距离、已行驶的时间中的至少一者。

可选地，还包括：

在所述地图上显示为所述目标车辆生成的行驶路线；和/或

显示红绿灯信息，所述红绿灯信息用于表示所述目标车辆所检测到的红绿灯的状态；和/或

显示为所述目标车辆生成的导航信息。

可选地，还包括：

当所述第一对象模型在所述行驶路线上时，高亮显示所述第一对象模型。

可选地，所述显示为所述目标车辆生成的导航信息，包括：

显示所述目标车辆在执行所述行驶任务时的速度；

和/或，

显示所述目标车辆到目的地的距离。

第二方面，本发明实施例还提供了一种可视化界面的显示装置，包括：

行驶任务确定模块，用于确定目标车辆执行行驶任务；

地图显示模块，用于根据所述目标车辆实时位置显示预设范围内地图；

对象模型显示模块，用于在所述地图上显示对象模型，其中，为所述目标车辆所检测到的第一对象显示第一对象模型，为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的可视化界面的显示方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现本发明实施例提供的可视化界面的显示方法。

本发明实施例在确定目标车辆执行行驶任务时，根据目标车辆实时位置显示预设范围内地图，并在地图上显示对象模型，其中，为目标车辆所检测到的第一对象显示第一对象模型，为目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型，解决了分类模型对非第一对象分类不准确或者无法分类，造成在可视化界面为非第一对象显示错误的模型甚至不显示任何模型问题，能够为目标车辆所检测到的、分类准确的第一对象显示第一对象模型，分类不准确或者无法分类的非第一对象显示至少包括点云数据的第二对象模型，既可以为目标车辆检测到的第一对象和非第一对象显示模型，又无需对非第一对象进行分类而是为非第一对象显示至少包含点云的第二对象模型，减少了非第一对象模型渲染的数据量，甚至无需为非第一对象渲染模型，实现了在为检测到的对象显示模型的同时又提高了模型渲染的速度，提高了用户体验。

附图说明

图1为本发明实施例一提供的一种可视化界面的显示方法的流程图；

图2是本发明实施例二提供的一种可视化界面的显示方法的流程图；

图3为本发明实施例的可视化界面的示意图；

图4是本发明实施例三提供的一种可视化界面的显示方法的流程图；

图5为本发明实施例四提供的一种可视化界面的显示装置的结构示意图；

图6为本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种可视化界面的显示方法的流程图，本实施例可适用于在可视化界面显示驾驶环境的情况，该方法可以由可视化界面的显示装置来执行，该可视化界面的显示装置可以由软件和/或硬件实现，可配置在本发明实施例提供的电子设备中，该方法具体包括如下步骤：

S101、确定目标车辆执行行驶任务。

目标车辆可以为自动驾驶车辆，自动驾驶车辆(也称为无人驾驶汽车、自动驾驶汽车或机器人汽车)能够感知环境并在没有人为输入的情况下进行导航。自动驾驶车辆可以配备高精度GPS导航系统和用于探测障碍物的激光雷达，自动驾驶车辆还可以配置为使用诸如相机、雷达、光检测和测距(LIDAR)、GPS和其他传感器的技术来感知其周围环境，并将周围环境显示在可视化界面中。

自动驾驶车辆在自动驾驶模式下，可以由自动驾驶程序模块控制自动驾驶车辆的方向盘、油门以及刹车等设备，不需人工干预即可实现自动驾驶车辆自动行驶。

本发明实施例可以确定目标车辆是否在执行行驶任务，在确定目标车辆执行行驶任务时可以进一步获取行驶任务的任务信息，该任务信息可以包括目标车辆行驶的起点和终点信息，还可以包括目标车辆从起点到终点的路径规划策略、可视化界面的显示内容等信息，其中，起点和终点信息可以是起点和终点的坐标，路径规划策略可以是时间最短、路径最短或者费用最少等策略，可视化界面的显示内容可以是用户定制的需要显示的内容，例如，可视化界面的显示内容可以包括任务进度条、已行驶时间、地图显示模式、行驶速度等。

在获取到任务信息后，可以通过起点和终点的信息获取包含起点和终点的全局地图，按照地图显示模式显示全局地图，并根据路径规划策略规划从起点到终点的行驶路径，将行驶路径显示在地图上，同时在可视化界面上显示其他需要显示的内容。

S102、根据所述目标车辆实时位置显示预设范围内地图。

本发明实施例中，地图可以是根据语义地图预先生成的包含建筑、路面、树木等固定对象的模型的三维电子地图，当确定目标车辆执行行驶任务时，可以通过目标车辆上安装的定位系统获取目标车辆自身的位置，可选地，可通过GPS定位系统获取目标车辆的位置，或者通过目标车辆上的激光雷达扫描周围环境获得点云数据后，将该点云数据与预先生成的点云地图匹配确定目标车辆的位置，或者通过其他定位传感器获取目标车辆的实时位置，本发明实施例对获取目标车辆的实时位置的方式不加以限制。

在获取到目标车辆的实时位置后，可以根据该位置从电子地图数据库中调取包含该实时位置的、预设范围内的地图显示在可视化界面中，可选地，预设范围可以是以目标车辆的位置为中心的预设半径的圆形范围，还可以是目标车辆的位置为中心的、目标车辆前方预设的扇形范围。

S103、在所述地图上显示对象模型，其中，为所述目标车辆所检测到的第一对象显示第一对象模型，为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型。

本发明实施例中目标车辆通过激光雷达获取到周围环境的点云后，将点云输入预先训练好的分类模型中以获得点云中各个对象的分类结果。其中，第一对象可以是分类结果为车辆的对象，非第一对象可以是分类结果为车辆以外的对象，和/或无分类结果的对象，在实际应用，第一对象还可以是分类模型能够准确进行分类的对象而不仅仅限于车辆。示例性地，目标车辆周围有其他车辆、行人、自行车、骑着自行车的人、雪糕筒等，则对于车辆、行人、自行车和雪糕筒等分类模型可以给出明确的分类结果，而对于骑着自行车的人的分类属于自行车还是属于行人则无法确定，而且在可视化界面中，目标车辆周围的其他车辆对自动驾驶更具有参考意义，可以在可视化界面中将车辆作为第一对象并显示能够体现车辆大小的第一对象模型，对于非第一对象，可以在可视化界面上显示第二对象模型以表达目标车辆检测到非第一对象。

其中，第一对象模型可以为目标车辆检测到的其他车辆的三维模型，该三维模型可以是其他车辆的实体模型，优选地，第一对象模型是边框模型，边框模型可以是三维矩形框，第二对象模型可以为点云模型，即对于第一对象，在地图上显示与第一对象匹配的三维矩形框，对于非第一对象，在地图上显示非第一对象的点云，第二对象还可以是至少包含点云的模型，即第二对象模型可以为点云和实体模型的混合模型，由于在地图上直接以点云形态或者至少部分为点云形态来呈现非第一对象，无需根据数据来模拟非第一对象的模型，即减少了非第一对象模型渲染的数据量，甚至无需为非第一对象渲染模型，提高了模型渲染速度。

本发明实施例在目标车辆执行行驶任务时，在地图上为目标车辆所检测到的第一对象显示第一对象模型，为目标车辆所检测到的非第一对象显示第二对象模型，解决了分类模型对非第一对象分类不准确或者无法分类，造成在可视化界面为非第一对象显示错误的模型甚至不显示任何模型问题，能够为目标车辆所检测到的、分类准确的第一对象显示第一对象模型，分类不准确或者无法分类的非第一对象显示至少包含点云数据的第二对象模型，既可以为目标车辆检测到的第一对象和非第一对象显示模型，又无需对非第一对象进行分类，而是为非第一对象显示至少包含点云的第二对象模型，减少了非第一对象模型渲染的数据量，甚至无需为非第一对象渲染模型，实现了在为检测到的对象显示模型的同时又提高了模型渲染的速度，提高了用户体验。

实施例二

图2为本发明实施例二提供的一种可视化界面的显示方法的流程图，本实施例以前述实施例一为基础进行优化，该方法具体包括如下步骤：

S201、确定目标车辆执行行驶任务。

在本发明实施例中，在接收到可视化界面的显示请求时，确定目标车辆执行的行驶任务。具体地，目标车辆可以为自动驾驶车辆，可以为该车辆建立行驶任务列表，该行驶任务列表中存储了车辆执行各个行驶任务的时间，当接收到可视化界面的显示请求时，确定在行驶任务列表中是否存在当前时间执行的行驶任务，若存在，进一步获取该行驶任务的任务信息，其中，任务信息为预先设置的、存储的信息，例如，任务信息可以包括目标车辆行驶的起点和终点信息，还可以包括目标车辆从起点到终点的路径规划策略、可视化界面的显示内容等信息。

S202、根据所述目标车辆实时位置显示预设范围内地图。

其中，可以在可视化界面提供地图显示模式选项或者地图显示模型切换按键，地图显示模式可以包括全局模式和局部模式，全局模式为显示包括目标车辆的起点和终点的地图的模式，局部模式为显示目标车辆当前所在位置的预设范围内的地图的模式，当然，地图显示模式还可以是3D和2D显示模式，即显示三维地图或者二维地图；地图显示模式还可以是第三者视角或者司机视角显示模式，司机视角即从驾驶位所观看的视角，第三者视角可以是目标车辆以外的视角，如图3所示为第三视角观看的地图。

本发明实施例中，地图可以是根据语义地图预先生成的包含建筑、路面、树木等固定对象的模型的三维电子地图，当用户选择显示3D局部地图时，可以根据目标车辆的实时位置确定预设范围内地图，并将该预设范围内的地图以用户选择的视角显示在可视化界面中，其中，预设范围可以是以目标车辆的位置为中心的预设半径的圆形范围，还可以是目标车辆的位置为中心的、目标车辆前方预设的扇形范围。

S203、根据所述目标车辆的实时位置在所述地图上为所述目标车辆显示车辆模型。

在本发明实施例中，可以预先为目标车辆设置车辆模型，该车辆模型可以是目标车辆的三维模型，还可以是边框模型等。在根据目标车辆的实时位置显示预设范围内地图后，可以在地图上目标车辆的实时位置显示目标车辆的车辆模型，示例性地，如图3所示，在地图上目标车辆所在的实时位置显示目标车辆的车辆模型10。

S204、获取所述目标车辆在执行所述行驶任务时所检测到的环境信息。

具体地，目标车辆上可以安装有激光雷达、毫米波雷达、相机、红外传感器等传感器，目标车辆在行驶过程中可以通过以上至少一种传感器检测目标车辆的周围环境获得多种传感数据作为环境信息。示例性地，目标车辆上安装有至少一个激光雷达，目标车辆在执行行驶任务过程中，安装在目标车辆上的激光雷达发射激光信号，该激光信号被目标车辆周围场景中的各种对象漫反射后返回该激光雷达，激光雷达对接收到的激光信号进行降噪、采样等处理后获得点云作为环境信息。

目标车辆还可以通过相机按照预设周期拍摄图像，进一步根据拍摄到的图像结合图像测距算法计算图像中的各个对象到目标车辆的距离作为环境信息，或者对图像进行语义分割获得图像中的语义信息作为环境信息，例如，对图像进行语义分割获得红绿灯、车辆、行人等语义分割区域作为环境信息。其中，相机可以为单目相机、双目相机、多目相机中的一种。

S205、识别所述环境信息中所述第一对象的位置和类型。

在本发明实施例中，环境信息可以包括通过传感器获得的点云，可以预先训练分类模型来对形成点云的各种对象进行分类，例如，可以获取各种对象的点云，并标注对象所属的分类后作为训练数据来训练分类模型，训练好的分类模型在输入点云后可以从点云中识别各个对象所属的分类。

当然，环境信息还可以是相机拍摄的图像，可以获取各种对象的图像，并标注对象所属的分类后作为训练数据来训练分类模型，训练好的分类模型在输入图像后可以从图像中识别各个对象所属的分类，或者环境信息可以是毫米波雷达的雷达数据，可以采用雷达数据来训练分类模型，可选地，环境信息数据可以包括点云、图像、雷达数据等多种传感数据，可以采用多种传感数据来训练分类模型，本发明实施例对采用何种数据来训练分类模型不加以限制。

本发明实施例中，对象可以为目标车辆周围的物体，例如，对象可以是目标车辆周围的其他车辆、行人、自行车、交通灯、雪糕筒等。可选地，第一对象可以为车辆，当环境信息为点云时，可以将点云输入预先训练的分类模型中识别出类型为车辆的对象作为第一对象，同时可以通过点云配准获得点云中第一对象的位置，该位置可以是第一对象相对于目标车辆的位置，也可以是第一对象在世界坐标系中的位置，其中，第一对象的数量可以是一个或者一个以上，即从点云中识别出目标车辆周围的所有车辆，并确定各个车辆的位置。

S206、根据所述第一对象的类型获取适配的第一对象模型。

本发明的可选实施例中可以预先为第一对象设置第一对象模型，该第一对象模型可以是第一对象的三维模型，还可以是表示第一对象外形尺寸的边框模型。如图3所示，第一对象的模型为边框模型20。在实际应用中，可以通过点云确定第一对象的外形尺寸，例如确定第一对象的长、宽、高尺寸，然后根据第一对象的长、宽、高尺寸从边框模型库中查找适配尺寸的边框模型作为第一对象的第一对象模型，从而可以为不同尺寸大小的第一对象显示适配尺寸大小的第一对象模型。进一步地，可以按照外形尺寸将第一对象分为大型车辆和小型车辆，大型车辆可以包括货车、公共汽车或者其他体积较大的工程车辆，小型车量可以包括小型客车、面包车等，从而可以按照第一对象的外形尺寸确定第一对象模型所属的车辆类型，使得用户可以了解目标车辆周期的车辆类型以决定是否进行人工干预，例如，当在港口或工业区存在货车较多的路况时，用户可以从可视化界面得知目标车辆行驶于货车较多的路况，从而可以决定是否从自动驾驶模式转换为远程控制驾驶模式。

在本发明的另一可选实施例中，可以将目标车辆上的传感器检测到的环境信息输入预先训练好的检测模型中，通过该检测模型获得各个对象的分类结果、位置、外形尺寸、朝向、速度和加速度等，当对象的分类结果为车辆时，该对象为第一对象，将第一对象的外形尺寸数据输入渲染器中渲染出边框模型做为第一对象模型，通过外形尺寸渲染边框模型，数据量少，模型简单，可以提高获取第一对象模型的速度。

S207、根据所述第一对象的位置显示所述第一对象模型。

具体地，在地图上第一对象所在的位置显示第一对象模型，从而在可视化界面上显示目标车辆的车辆模型，以及显示车辆模型周围的第一对象的第一对象模型，示例性地，在确定第一对象模型的朝向，例如确定车头的方向后，可以按照该朝向在第一对象所在的位置显示第一对象模型，即从第一对象模型上可以反映车辆的车头的朝向，从而可以在可视化界面上能够清楚地了解到车辆是同向行驶车辆还是对向行驶车辆，具体地，可以在边框模型中车头所在一端增加车头的形状特征或者标记，在边框模型中车尾所在一端增加车尾的形状特征或者标记等。如图3所示，在地图上显示目标车辆的车辆模型10、显示车辆模型10周围的第一对象的第一对象模型20。

S208、识别所述环境信息中所述第二对象的位置和类型。

在本发明实施例中，第二对象可以是第一对象以外的对象，可选地，第一对象是车辆，第二对象是车辆以外的行人、自行车、电线杆、雪糕筒等。其中，环境信息可以包括点云，可以将点云输入预先训练好的分类模型中，以识别出类型不是第一对象所属的类型或者无法分类的对象，将类型不是第一对象所属的类型或者包含无法分类的对象作为第二对象，即非第一对象，并通过点云配准获得点云中第二对象的位置当然，环境信息还可以包括相机拍摄的图像、毫米波雷达的扫描数据等，可以将环境信息输入预先训练的检测模型中获得各种对象的分类结果和位置，可以将与第一对象不同分类的对象作为第二对象。

S209、从所述环境信息中提取所述第二对象的点云。

本发明的一个实施例中，环境信息包括激光雷达获得的点云和相机拍摄的图像，可以采用目标检测算法识别图像中的第二对象，在将相机和激光雷达进行联合标定后，将图像中识别出的第二对象投射到点云中，从而可以从激光雷达获得的点云中分离出第二对象的点云。

在本发明的另一实施例中，目标车辆上的传感器(相机、激光雷达、毫米波雷达等)按照预设周期获取到多帧环境信息，将每个周期获取到的环境信息按照时间顺序存储至队列中，从队列中读取每帧环境信息输入分类模型中以从每帧环境信息中识别出至少一个第二对象，并通过帧环境信息提取出所有第二对象的点云，然后将所有第二对象的点云输入预先训练的点云分离模型中以分离出每个第二对象的点云，并对多帧环境信息获得的每个第二对象的点云进行平滑处理，将平滑处理后的点云作为第二对象的最终点云。其中，点云分离模型可以通过获取多个第二对象的点云来训练，使得点云分离模型可以从多个对象的点云中分离出每个对象的点云。

在本发明实施例中，对点云进行平滑处理可以包括点云预处理和点云平滑，其中，点云预处理可以是去掉离群点、去掉噪声点和去掉失真点等，平滑处理可以包括均值滤波平滑，具体地，对于每个第二对象的点云中的每个点，可以计算多帧环境信息获得的每个第二对象的点云中该点的平均值，例如，计算相邻两帧或者两帧以上环境信息获得的每个第二对象的点云中某个点的三维坐标的平均值作为平滑处理的结果。当然，平滑处理还可以是中值滤波平滑、高斯滤波平滑等，本发明实施例对点云的平滑处理方式不加以限制。

本发明实施例先对第二对象的点云进行预处理，可以去除无效点和噪声点，提高点云的准确度，更进一步地，对第二对象的点云进行平滑处理，可以获得第二对象的平滑点云，在显示第二对象的点云时，能够在可视化界面取得良好的显示效果。

S210、根据所述第二对象的位置显示至少包含所述点云的第二对象模型。

在本发明实施例中，第二对象模型可以是点云模型，即直接在地图上第二对象所在的位置显示第二对象的点云模型，如图3所示，在图3中显示点云模型70。本发明实施例无需为第二对象进行明确分类，也无需为第二对象匹配模型，提高了第二对象的模型的显示效率。

在本发明的可选实施例中，可以获取为第二对象预先设置的显示模板，该显示模板可以包括一实体的修饰模型，将第二对象的点云显示于该修饰模型上，其中，将第二对象的点云显示于该修饰模型上包括：将第二对象的点云进行缩放，以使得第二对象的点云在地面上的投轮廓被修饰模型的投影轮廓所包围。示例性地，修饰模型为一圆盘，第二对象为雪糕筒，可以将雪糕筒对应的点云缩放，将缩放后的点云显示在圆盘上。

在另一个示例中，将第二对象的点云显示于该修饰模型上包括：计算点云的外形轮廓尺寸，根据所述外形轮廓尺寸调整修饰模型的尺寸，将在调整后的修饰模型中显示点云。示例性地，修饰模型可以是一圆柱空间，该圆柱空间底部为实体，上部空间为透明的，则可以根据点云在地面上的投影轮廓调整圆柱空间的直径以及通过点云的高度调整圆柱空间的高，使得点云可以容纳在该圆柱空间中，例如在一圆柱空间的底部的实体上显示行人的点云，从而可以从可视化界面根据该圆柱空间的轮廓了解到行人的外形尺寸大小。

本发明实施例在目标车辆执行行驶任务时，根据目标车辆的实时位置显示预设范围内地图并在地图上显示目标车辆的车辆模型，在获取环境信息后，从环境信息中识别第一对象的位置和类型，根据第一对象的类型匹配第一对象模型显示在地图上，从环境信息中识别第二对象的位置和类型，并提取第二对象的点云，在地图上显示第二对象的包含点云的第二对象模型，解决了分类模型对非第一对象分类不准确或者无法分类，造成在可视化界面为非第一对象显示错误的模型甚至不显示任何模型问题，能够为目标车辆所检测到的、分类准确的第一对象显示第一对象模型，分类不准确或者无法分类的第二对象显示包含点云的第二对象模型，既可以为目标车辆检测到的第一对象和第二对象显示模型，又无需对第二对象进行分类，而是为非第一对象显示至少包含点云的第二对象模型，减少了非第一对象模型渲染的数据量，甚至无需为非第一对象渲染模型，提高了模型渲染的速度，进而提高了用户体验。

实施例三

图4为本发明实施例三提供的一种可视化界面的显示方法的流程图，本实施例以前述实施例一为基础进行优化，该方法具体包括如下步骤：

S301、确定目标车辆执行行驶任务。

S302、根据所述目标车辆实时位置显示预设范围内地图。

S303、在所述地图上显示对象模型，其中，为所述目标车辆所检测到的第一对象显示第一对象模型，为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型。

S304、显示所述目标车辆执行所述行驶任务的任务进度信息，其中，所述任务进度信息包括进度条、已行驶的距离、已行驶的时间中的至少一者。

本发明实施例中，任务进度信息可以是目标车辆执行行驶任务的进度信息，任务进度信息可以是进度条、已行驶的距离、已行驶的时间中的至少一项。其中，进度条可以根据已行驶距离和总距离来生成，已行驶的距离可以通过目标车辆上的里程计来统计。

如图3所示，在可视化界面显示任务进度信息30，在任务进度信息30中，可以包括进度条，该进度条表达了行驶任务的执行进度，还可以包括已行驶距离，即目标车辆开始执行行驶任务后所行驶的距离，还可以包括已行驶时间，即目标车辆开始执行行驶任务后所行驶的总时间，当然，任务进度信息还可以采用百分比等其他形式来表示，本发明实施例对任务进度信息的显示方式不加以限制。

S305、在所述地图上显示为所述目标车辆生成的行驶路线。

具体地，行驶任务可以为目标车辆从指定起点行驶到指定终点的任务，在确定起点和终点后，结合目标车辆上的传感器所检测到的环境信息实时规划行驶路线并将行驶路线显示在地图上，示例性地，在确定起点和终点后规划出从起点行驶到终点的行驶路线，在实时行驶的过程中，根据传感器所检测到的环境信息实时规划行驶过程中目标车辆所行驶的车道。如图3所示，可以在目标车辆的行驶方向上以光带的形式显示行驶路线50，从而使得行驶路线50与地图中的斑马线、车道线等道路标记线明显区分，有利于用户从地图上分辨出行驶路线。

S306、当所述第一对象模型在所述行驶路线上时，高亮显示所述第一对象模型。

在本发明实施例中，第一对象可以为目标车辆所检测到的车辆，可以根据第一对象对目标车辆行驶的干扰度确定是否高亮该第一对象的第一对象模型。

在本发明的一个示例中，目标车辆直线行驶时，目标车辆所检测到的车辆可以是目标车辆周围的车辆，干扰度可以是目标车辆周围预设范围内所检测的车辆。可选地，目标车辆检测以目标车辆为中心的、预设半径的圆形区域内的车辆，获得该圆形区域内所有车辆与目标车辆的距离，当该距离小于预设阈值时，确定该车辆为干扰车辆，可以高亮显示该圆形区域内的干扰车辆的模型，即高亮显示第一对象模型，例如，当目标车辆做直线行驶时，目标车辆前方的车辆急刹车或者行驶速度下降造成前方车辆与目标车辆的距离减小，当该距离小于预设阈值时，表明前方车辆在目标车辆所需行驶的行驶路线上并且距离小于预设阈值，可以高亮显示行驶路线上前方车辆的第一对象模型以警示用户该车辆干扰了目标车辆行驶。

又例如，当目标车辆做直线行驶时，目标车辆旁边的车辆变道接近目标车辆，当旁边的车辆与目标车辆的距离小于预设阈值时，如果目标车辆仍然以目前方向行驶，有可能发生碰撞，则可以高亮显示目标车辆旁边的车辆的第一对象模型，以警示旁边车辆干扰了目标车辆的正常行驶。本发明实施例能够高亮显示以目标车辆为中心的、预设半径的圆形区域内的干扰车辆，以利于用户及时进行人工监督或者人工干预，提高目标车辆驾驶的安全性。

在本发明的另一示例中，当目标车辆变道时，可以计算目标车辆周围的车辆到目标车辆的距离，如果该距离小于预设阈值，则高亮周围车辆中与目标车辆的距离小于预设阈值的车辆的第一对象模型，以警示周围有车辆干扰到目标车辆变道，以利于用户及时进行人工监督或者人工干预，提高目标车辆驾驶的安全性。

进一步地，可以根据干扰度的大小确定高亮显示第一对象模型的亮度，例如，根据距离对高亮显示的颜色进行渐变，示例性地，高亮颜色为红色，距离越小，红色的颜色越深，反之越小，使得用户可以从高亮的颜色的亮度获知周围车辆对目标车辆的干扰度。

S307、显示红绿灯信息，所述红绿灯信息用于表示所述目标车辆所检测到的红绿灯的状态。

具体地，目标车辆上安装有相机，可以通过相机对目标车辆需要经过的路口的红绿灯进行拍摄获得图像，对该图像进行图像识别获取到红绿灯的状态，并将红绿灯状态显示在可视化界面的虚拟红绿灯中。如图3所示，可在可视化界面的右上角显示红绿灯信息60。

在本发明的可选实施例中，如果相机拍摄到多个红绿灯，例如，在十字路口拍摄到多个红绿灯时，可以根据目标车辆的位置和行驶路线从多个红绿灯中确定出目标红绿灯并显示目标红绿灯的状态，示例性地，当目标车辆的下一行驶路径为从当前位置继续直线行驶时，将目标车辆前方的红绿灯作为目标红绿灯，并识别目标红绿灯的状态显示在可视化界面上，又或者目标车辆的下一行驶路径为转向行驶时，将目标车辆转向方向的红绿灯作为目标红绿灯，并识别目标红绿灯的状态显示在可视化界面上。本发明实施例从多个红绿灯中确定目标红绿灯，可以避免对多个红绿灯的状态进行识别，减少了图像识别的数据量，既提高了红绿灯信息的显示速度，又减少了在可视化界面显示红绿灯的数量，使得可视化界面更为简洁。

在本发明的另一可选实施例中，可以先确定人行红绿灯的状态，通过人行红绿灯的状态确定目标车辆前方的红绿灯的状态，具体地，当从地图上检测到目标车辆行驶方向上有斑马线时，确定斑马线两端的人行红绿灯，并获取该人行红绿灯的图像，对该图像进行识别获得人行红绿灯状态，根据该人行红绿灯状态确定目标车辆前方用于指示目标车辆行驶的红绿灯状态，示例性地，当人行红绿灯为绿色时，确定目标车辆前方用于指示目标车辆行驶的红绿灯状态为红色，当人行红绿灯为红色时，确定目标车辆前方用于指示目标车辆行驶的红绿灯状态为绿色，由此可以提前显示红绿灯信息，或者前方车辆遮挡前方红绿灯导致相机无法获得前方红绿灯图像时，通过旁边的人行红绿灯信息确定前方红绿灯信息。

S308、显示为所述目标车辆生成的导航信息。

本发明实施例中，导航信息可以是目标车辆的行驶速度、目标车辆到目的地的距离，行驶路线的转向提醒信息、行驶过程中的车辆变道提醒信息等，可以将导航信息显示在可视化界面中。其中，转向提醒信息可以是在可视化界面中显示转向标记以及目标车辆到转向位置的距离，行驶速度可以是在在可视化界面显示文字或者虚拟速度表，车辆变道提醒信息可以通过扬声器以语音方式进行播报。如图3所示，导航信息40为行驶路线的转向提醒信息和目标车辆的行驶速度。

在本发明实施例中，目标车辆上的传感器还可以感知周围环境的光强度，根据光强度调整可视化界面的显示模式，显示模式可以包括黑夜模式或者白天模式，当然，还可以根据当前时间确定当前是白天还是黑夜，以实现显示模式在黑夜模式和白天模式之间切换，以使得可视化界面能够根据环境的光强度来进行显示，提高人眼观看的舒适度。

本发明实施例在目标车辆执行行驶任务时，在地图上为目标车辆所检测到的第一对象显示第一对象模型，为目标车辆所检测到的非第一对象显示至少包含点云数据的第二对象模型，解决了分类模型对非第一对象分类不准确或者无法分类，造成在可视化界面为非第一对象显示错误的模型甚至不显示任何模型问题，能够为目标车辆所检测到的、分类准确的第一对象显示第一对象模型，分类不准确或者无法分类的非第一对象显示第二对象模型，既可以为目标车辆检测到的第一对象和非第一对象显示模型，又无需对非第一对象进行分类，而是为非第一对象显示至少包含点云的第二对象模型，减少了非第一对象模型渲染的数据量，甚至无需为非第一对象渲染模型，实现了在为检测到的对象显示模型的同时又提高了模型渲染的速度，提高了用户体验。

进一步地，在可视化界面上为目标车辆显示行驶路线、红绿灯信息和导航信息，实现了行驶数据的可视化。

更进一步地，当预设范围内所检测到的第一对象干扰目标车辆行驶时，高亮显示第一对象的第一对象模型，以警示用户该第一对象挡住了目标车辆行驶，以利于用户及时进行人工监督或者人工干预，提高目标车辆驾驶的安全性。

实施例四

图5为本发明实施例四提供的一种可视化界面的显示装置的结构示意图，该装置具体可以包括如下模块：

行驶任务确定模块401，用于确定目标车辆执行行驶任务；

地图显示模块402，用于根据所述目标车辆实时位置显示预设范围内地图；

对象模型显示模块403，用于在所述地图上显示对象模型，其中，

为所述目标车辆所检测到的第一对象显示第一对象模型；

为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型。

可选地，还包括：

车辆模型显示模块，用于根据所述目标车辆的实时位置在所述地图上为所述目标车辆显示车辆模型。

可选地，所述对象模型显示模块403包括：

点云获取子模块，用于获取所述目标车辆在执行所述行驶任务时所检测到的环境信息；

第一对象识别子模块，用于识别所述环境信息中所述第一对象的位置和类型；

第一对象模型匹配子模块，用于根据所述第一对象的类型获取适配的第一对象模型；

第一对象模型显示子模块，用于根据所述第一对象的位置显示所述第一对象模型。

可选地，所述对象模型显示模块403包括：

点云获取子模块，用于获取所述目标车辆在执行所述行驶任务时所检测到的环境信息；

第二对象识别子模块，用于识别所述环境信息中所述第二对象的位置和类型；

点云提取子模块，用于从所述环境信息中提取所述第二对象的点云；

第二对象模型显示子模块，用于根据所述第二对象的位置显示至少包含点云的第二对象模型。

可选地，还包括：

任务进度信息显示模块，用于显示所述目标车辆执行所述行驶任务的任务进度信息，其中，所述任务进度信息包括进度条、已行驶的距离、已行驶的时间中的至少一者。

可选地，还包括：

信息显示模块，用于在所述地图上显示为所述目标车辆生成的行驶路线；和/或

交通灯信息显示模块，用于显示红绿灯信息，所述红绿灯信息用于表示所述目标车辆所检测到的红绿灯的状态；和/或

导航信息显示模块，用于显示为所述目标车辆生成的导航信息。

可选地，还包括：

高亮显示模块，用于当所述第一对象模型在所述行驶路线上时，高亮显示所述第一对象模型。

可选地，所述导航信息显示模块包括：

速度显示子模块，用于显示所述目标车辆在执行所述行驶任务时的速度；

距离显示子模块，用于显示所述目标车辆到目的地的距离。

本发明实施例所提供的可视化界面的显示装置可执行本发明任意实施例所提供的可视化界面的显示方法，具备执行方法相应的功能模块和有益效果。

实施例五

参照图6，示出了本发明一个示例中的一种电子设备的结构示意图。如图6所示，该设备具体可以包括：处理器500、存储器501、具有触摸功能的显示屏502、输入装置503、输出装置504以及通信装置505。该设备中处理器500的数量可以是一个或者多个，图6中以一个处理器500为例。该设备中存储器501的数量可以是一个或者多个，图6中以一个存储器501为例。该设备的处理器500、存储器501、显示屏502、输入装置503、输出装置504以及通信装置505可以通过总线或者其他方式连接，图6中以通过总线连接为例。

存储器501作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的可视化界面的显示方法对应的程序指令/模块(例如，上述可视化界面的显示装置中的行驶任务确定模块401、地图显示模块402和对象模型显示模块403)，存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器501可进一步包括相对于处理器500远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏502为具有触摸功能的显示屏502，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏502用于根据处理器500的指示显示数据，还用于接收作用于显示屏502的触摸操作，并将相应的信号发送至处理器500或其他装置。可选的，当显示屏502为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏502的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器500或者其他设备。

通信装置505，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。

输入装置503可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置504可以包括扬声器等音频设备。需要说明的是，输入装置503和输出装置504的具体组成可以根据实际情况设定。

处理器500通过运行存储在存储器501中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述可视化界面的显示方法。

具体地，实施例中，处理器500执行存储器501中存储的一个或多个程序时，具体实现本发明实施例提供的可视化界面的显示方法的步骤。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现本发明任意实施例中的可视化界面的显示方法，该方法具体可以包括：

确定目标车辆执行行驶任务；

根据所述目标车辆实时位置显示预设范围内地图；

在所述地图上显示对象模型，其中，

为所述目标车辆所检测到的第一对象显示第一对象模型；

为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明应用于设备上任意实施例所提供的可视化界面的显示方法中的相关操作。

需要说明的是，对于装置、电子设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的可视化界面的显示方法。

值得注意的是，上述可视化界面的显示装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种可视化界面的显示方法，其特征在于，包括：

确定目标车辆执行行驶任务；

根据所述目标车辆实时位置显示预设范围内地图；

在所述地图上同时显示第一对象模型和第二对象模型，其中，

为所述目标车辆所检测到的第一对象显示第一对象模型，所述第一对象模型为实体模型；

为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据所述目标车辆的实时位置在所述地图上为所述目标车辆显示车辆模型。

3.根据权利要求1所述的方法，其特征在于，所述为所述目标车辆所检测到的第一对象显示第一对象模型，包括：

获取所述目标车辆在执行所述行驶任务时所检测到的环境信息；

识别所述环境信息中所述第一对象的位置和类型；

根据所述第一对象的类型获取适配的第一对象模型；

根据所述第一对象的位置显示所述第一对象模型。

4.根据权利要求1所述的方法，其特征在于，所述为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型，包括：

获取所述目标车辆在执行所述行驶任务时所检测到的环境信息；

识别所述环境信息中所述第二对象的位置和类型；

从所述环境信息中提取所述第二对象的点云；

根据所述第二对象的位置显示至少包含所述点云的第二对象模型。

5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

显示所述目标车辆执行所述行驶任务的任务进度信息，其中，所述任务进度信息包括进度条、已行驶的距离、已行驶的时间中的至少一者。

6.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

在所述地图上显示为所述目标车辆生成的行驶路线；和/或

显示红绿灯信息，所述红绿灯信息用于表示所述目标车辆所检测到的红绿灯的状态；和/或

显示为所述目标车辆生成的导航信息。

7.根据权利要求6所述的方法，其特征在于，还包括：

当所述第一对象模型在所述行驶路线上时，高亮显示所述第一对象模型。

8.根据权利要求6所述的方法，其特征在于，所述显示为所述目标车辆生成的导航信息，包括：

显示所述目标车辆在执行所述行驶任务时的速度；

和/或，

显示所述目标车辆到目的地的距离。

9.一种可视化界面的显示装置，其特征在于，包括：

行驶任务确定模块，用于确定目标车辆执行行驶任务；

地图显示模块，用于根据所述目标车辆实时位置显示预设范围内地图；

对象模型显示模块，用于在所述地图上同时显示第一对象模型和第二对象模型，其中，

为所述目标车辆所检测到的第一对象显示第一对象模型，所述第一对象模型为实体模型；

为所述目标车辆所检测到的非第一对象显示至少包括点云数据的第二对象模型。

10.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的可视化界面的显示方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8中任一所述的可视化界面的显示方法。

Images