CN114581615A - 一种数据处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、设备和存储介质。其中，该方法包括：获取图像采集设备采集的车辆周围的环境图像信息；获取雷达设备采集的所述车辆周围的实际地形信息；获取所述车辆的行车记录仪采集到的影像信息；通过所述车辆的传感器设备获取到所述车辆的行驶状态数据；根据所述环境图像信息、所述实际地形信息、所述影像信息以及所述行驶状态数据，实时构建所述车辆周围的三维场景图像。通过本发明的技术方案，能够获得更加直观和准确的车辆周围的场景图像。

Description

一种数据处理方法、装置、设备和存储介质

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及自动驾驶领域，具体涉及一种数据处理方法、装置、设备和存储介质。

背景技术

目前自动驾驶车辆在行驶过程中对车辆周围的环境感知能力有限，无法准确的获取到车辆周围的环境信息，因此在车辆行驶过程中无法根据车辆周围的环境信息准确的调整行驶状态，使车辆在行驶过程中存在一定的危险性。因此在车辆的行驶过程中如何获取准确的车辆周围环境信息，是需要解决的问题。

发明内容

本发明实施例提供一种数据处理方法、装置、设备和存储介质，以获得更加直观和准确的车辆周围的场景图像。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取图像采集设备采集的车辆周围的环境图像信息；

获取雷达设备采集的所述车辆周围的实际地形信息；

获取所述车辆的行车记录仪采集到的影像信息；

通过所述车辆的传感器设备获取到所述车辆的行驶状态数据；

根据所述环境图像信息、所述实际地形信息、所述影像信息以及所述行驶状态数据，实时构建所述车辆周围的三维场景图像。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

环境图像信息获取模块，用于获取图像采集设备采集的车辆周围的环境图像信息；

实际地形信息获取模块，用于获取雷达设备采集的所述车辆周围的实际地形信息；

影像信息获取模块，用于获取所述车辆的行车记录仪采集到的影像信息；

行驶状态数据获取模块，用于通过所述车辆的传感器设备获取到所述车辆的行驶状态数据；

三维场景图像构建模块，用于根据所述环境图像信息、所述实际地形信息、所述影像信息以及所述行驶状态数据，实时构建所述车辆周围的三维场景图像。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的数据处理方法。

本发明实施例提供的技术方案，通过获取车辆周围的环境图像信息、车辆周围的实际地形信息、车辆的行车记录仪采集到的影像信息以及车辆的行驶状态数据；以根据环境图像信息、实际地形信息、影像信息以及行驶状态数据，实时构建车辆周围的三维场景图像。上述方案，在构建车辆周围的三维场景图像时，充分考虑到了车辆周围的环境变化因素，实时获取全面的车辆周围的环境数据以及车辆的行驶状态数据，以实时构建车辆周围的三维场景图像，可以获得更加直观和准确的车辆周围的场景图像。

附图说明

图1为本发明实施例一提供的一种数据处理方法的流程图；

图2为本发明实施例二提供的一种数据处理方法的流程图；

图3为本发明实施例三提供的一种数据处理方法的流程图；

图4为本发明实施例四提供的一种数据处理装置的结构示意图；

图5为本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于如何精准构建车辆周围的三维场景图像的情况。该方法可以由本发明实施例提供的数据处理装置来执行，该装置可以采用软件和/或硬件的方式来实现。该装置可配置于终端服务器中，终端服务器可配置于电子设备中，该方法具体包括：

S110、获取图像采集设备采集的车辆周围的环境图像信息。

其中，车辆可以为自动驾驶车辆。环境图像信息是指车辆的车身四周的环境的图像信息，环境图像信息记录有车辆周围的障碍物图像和道路路况图像。车辆周围的障碍物包括车辆周围的移动障碍物和车辆周围的静止障碍物。

具体的，可以在车辆四周安装有多个图像采集设备，以保证通过图像采集设备可以全面的采集到车辆周围的环境图像信息。服务器在检测到车辆上电起动后，控制车辆上安装的图像采集设备在车辆行驶的过程中实时采集车辆周围的环境图像，并获取到各图像采集设备采集到的环境图像信息。

S120、获取雷达设备采集的车辆周围的实际地形信息。

其中，雷达设备可以是毫米波雷达。实际地形信息是指车辆周围的地面形态与地面起伏特征。地形是地面形状和地貌的总称，地形包括：平原、高原、丘陵、盆地和山地。

具体的，在车辆上电起动后，服务器可以控制车辆上安装的雷达设备采集车辆周围环境的点云数据，

示例性的，服务器获取到车辆上的雷达设备采集到的车辆周围环境的点云数据，雷达设备采集到的点云数据中可能存在噪声干扰，因此服务器在获取到雷达设备传送的点云数据后，可以先对点云数据进行去噪处理，通过DEM（Digital Elevation Model，数字高程模型）从去噪处理后的点云数据中提取出地形要素，地形要素包括地面的坡度、坡向和顶点等。再采用模型构建软件，根据地形要素构建车辆周围的数字地形模型，将构建出的数字地形模型作为实际地形信息。其中，数字地形模型是地形表面形态属性信息的数字表达，是带有空间位置特征和地形属性特征的数字描述。其中，点云数据是指在一个三维坐标系统中的一组向量的集合。数字地形模型可以用于描述地面起伏状况。DEM可以通过有限的地形高程数据实现对地面地形的数字化模拟。模型构建软件可以是ArcGIS软件。

示例性的，还可以通过雷达设备获取车辆周围有效区域内的片层数据，根据片层数据获取车辆周围的实际地形信息。具体的，可以通过如下子步骤实现：

S1201、根据雷达设备的监测数据，确定车辆周围的有效区域。

需要说明的是，在车辆行驶过程中，车辆周围的区域可以划分为有效区域和无效区域。其中，有效区域为车辆的可行驶区域；无效区域为车辆的不可行驶区域。监测数据是指雷达设备在车辆行驶过程中监测到的车辆周围的路沿信息，路沿信息包括车道线和静止障碍物的位置信息。静止障碍物包括电线杆、红绿灯、马路水泥路沿和铁栅栏和高架隔音板等。

具体的，在车辆行驶过程中，服务器可以通过激光雷达设备实时获取车辆周围的路沿信息，通过滤波法对获取到的路沿信息进行去噪处理，再通过聚类算法对去噪处理后的路沿信息进行聚类提取，提取出路沿点。基于路沿点，采用最小二乘法拟合出道路边沿线，根据道路边沿线确定车辆周围的有效区域。

S1202、获取雷达设备中的片层数据采集装置采集的有效区域内的片层数据。

其中，片层是指地面不同的高度层次。片层数据包括每一个片层中存在的障碍物的点的位置信息。片层数据采集装置是指可以用于采集地面的片层数据的装置例如可以是磁共振成像装置。

具体的，在雷达设备中设置片层数据采集装置，当服务器通过雷达设备的监测数据确定车辆周围的有效区域后，预先将有效区域的地面划分为若干片层，可以控制片层数据采集装置获取片层数据。

S1203、根据片层数据，确定有效区域的有效地形信息。

其中，有效地形信息是指车辆周围有效区域内的地形信息。片层数据为二维数据，根据片层数据确定有效地形信息，即将二维数据转换为三维数据。

具体的，基于每一个片层所在的高度层次和每一个片层的片层数据，通过模型构建软件或模型构建算法构建出有效区域内的数字地形模型，即有效地形信息。

示例性的，确定有效区域的有效地形信息的方法还可以是：根据片层数据，确定有效区域的地形因子；根据地形因子，确定有效区域的有效地形信息。

其中，地形因子是指用于描述地形的参数，地形因子主要包括坡向、坡度和海拔高度等地形相关参数。

具体的，服务器获取到片层数据后，通过矩阵分析法，根据片层数据确定有效区域的地形因子，根据地形因子确定车辆周围的有效区域中路面的坡向、坡度和海拔高度等地形相关参数。根据地形相关参数，通过模型构建软件或模型构建算法构建出有效区域内的数字地形模型，即有效地形信息。

S1204、将有效地形信息作为车辆周围的实际地形信息。

确定车辆周围的有效区域，将有效区域的有效地形信息作为车辆周围的实际地形信息，可以避免构建无效区域的地形信息，保证了实际地形信息的获取效率。同时提供了根据片层数据确定有效区域的有效地形信息的方案，使构建地形信息的方式更加灵活。

S130、获取车辆的行车记录仪采集到的影像信息。

其中，影像信息为行车记录仪采集到的车辆行驶过程中车辆周围环境的视频信息。

具体的，服务器实时接收车辆的行车记录仪采集并传输的车辆周围的影像信息。服务器获取到影像信息后，可以从影像信息中提取出当前车辆周围的障碍物图像和道路路况图像。

S140、通过车辆的传感器设备获取到车辆的行驶状态数据。

其中，车辆的行驶状态数据包括车辆的位置数据、行驶速度数据、加速度数据。

具体的，通过传感器设备获取到车辆的行驶状态数据的方式可以是：通过GPS（Global Positioning System，全球定位系统）获取到车辆位置信息；通过测速装置获取到车辆的行驶速度数据和车辆的加速度数据；通过方向盘的转动数据确定车辆是处于直线行驶状态还是处于转弯状态。

S150、根据环境图像信息、实际地形信息、影像信息以及行驶状态数据，实时构建车辆周围的三维场景图像。

其中，三维场景图像是指可以展现出车辆周围真实场景的三维立体图像。

具体的，服务器获取到环境图像信息和影像信息后，将从环境图像信息中提取出的车辆周围的障碍物图像和道路路况图像，与从影像信息中提取出的车辆周围的障碍物图像和道路路况图像进行整合，获取到完整的车辆周围的实际场景图像。其中，车辆周围的实际场景图像中包含环境图像信息和影像信息中所有的障碍物图像和道路状况图像，道路状况图像中包括交通标线图像。由于自动驾驶车辆可以针对不同的道路状况调整车辆的速度和加速度，因此可以根据车辆的行驶状态数据确定车辆的行驶速度数据和加速度数据，并根据行驶速度数据和加速度数据确定车辆行驶道路的道路状况数据。基于道路状况数据对实际场景图像中的道路状况图像进行调整，获得调整后的实际场景图像。将调整后的实际场景图像映射到车辆周围的实际地形信息中，以构建出车辆周围的三维场景图像。

将图像采集设备采集的环境图像信息和行车记录仪采集到的影像信息进行整合，可以获得更加完整的车辆周围的实际场景图像，避免了因光线不足或环境恶劣导致环境图像信息或影响信息存在误差，将环境图像信息和影响信息整合可以使实际场景图像中包含的障碍物图像和道路状况图像更加完整可靠。

本实施例提供的技术方案，通过获取车辆周围的环境图像信息、车辆周围的实际地形信息、车辆的行车记录仪采集到的影像信息以及车辆的行驶状态数据；以根据环境图像信息、实际地形信息、影像信息以及行驶状态数据，实时构建车辆周围的三维场景图像。上述方案，在构建车辆周围的三维场景图像时，充分考虑到了车辆周围的环境变化因素，实时获取全面的车辆周围的环境数据以及车辆的行驶状态数据，以实时构建车辆周围的三维场景图像，可以获得更加直观和准确的车辆周围的场景图像。

优选的，在构建出车辆周围的三维场景图像后，还可以基于三维场景图像和生成车辆行驶报告，并将车辆行驶报告发送给用户。具体的，可以通过如下过程实现：

1）根据三维场景图像和车辆的行驶状态数据生成车辆行驶报告。

其中，车辆行驶报告是通过对三维场景图像和车辆的行驶状态数据进行分析，生成的对车辆行驶状态的指示文件。

具体的，服务器在获取到三维场景图像后，根据车辆的行驶状态数据确定车辆的行驶方向和车辆位置信息，并基于车辆的行驶方向、车辆位置信息和三维场景图像确定车辆最近距离的障碍物的位置信息以及车辆最近距离的障碍物和车辆之间的距离，将该距离作为最近障碍物距离。根据车辆的行驶状态数据确定车辆的行驶速度数据和车辆的加速度数据，并根据车辆的行驶速度数据和加速度数据计算出车辆到达车辆最近距离的障碍物的行驶时间，将该行驶时间作为预计行驶时间。将三维场景图像、车辆的行驶状态数据、最近障碍物距离和预计行驶时间记录在车辆行驶报告中。

2）向用户发送车辆行驶报告，以使用户基于车辆行驶报告及时调整行驶状态。

具体的，服务器生成车辆行驶报告后，可以将车辆行驶报告发送至用户端，以使用户可以通过用户端查看车辆行驶报告，并根据车辆行驶报告展示的信息了解车辆当前的行驶状态，若用户基于车辆行驶报告确定车辆当前的行驶状态存在危险隐患，则可以及时调整车辆行驶状态。示例性的，用户端可以是车载计算机，车辆行驶报告可以通过车辆中的显示器展示给用户，若用户基于车辆行驶报告确定车辆存在与障碍物发生碰撞的危险隐患，则可以及时调整车辆的行驶方向，以保证车辆的安全运行。

根据三维场景图像和车辆的行驶状态数据生成车辆行驶报告，并将车辆行驶报告发送给用户，可以使用户基于车辆行驶报告实时了解车辆行驶状态，以便在车辆行驶状态存在危险隐患时及时调整车辆的行驶方向，实现了服务器和用户之间的信息交互，保证了车辆的行驶安全。

实施例二

图2为本发明实施例二提供的一种数据处理方法的流程图，本实施例在上述实施例的基础上进行了优化，给出了一种通过路侧设备获取到车辆周围的路况信息，基于路况信息修正环境图像信息、实际地形信息和影像信息，基于行驶状态数据，以及修正后的环境图像信息、实际地形信息和影像信息，实时构建车辆周围的三维场景图像的可选实施例。具体的，如图2所示，本实施例提供的数据处理方法可以包括：

S210、获取图像采集设备采集的车辆周围的环境图像信息。

S220、获取雷达设备采集的车辆周围的实际地形信息。

S230、获取车辆的行车记录仪采集到的影像信息。

S240、通过车辆的传感器设备获取到车辆的行驶状态数据。

S250、通过路侧设备获取到车辆周围的路况信息。

其中，路侧设备是一种用于车路协同系统的路侧感知设备，可以由供电单元、检测单元、中央处理单元和通信单元组成，可以用于检测自动驾驶车辆驾驶场景中的交通环境信息。例如，路侧设备可以是UWB定位基站、摄像头或激光雷达等检测设备。路况信息是通过路测设备采集到的车辆周围的障碍物图像和道路路况图像。

具体的，在车辆行驶路段中，每隔一定距离设置一个路侧设备，路侧设备的检测范围可以通过路侧设备的安装位置和安装高度进行调整。当车辆行驶到路侧设备的检测范围内时，路侧设备可以获取到车辆的位置信息，并基于车辆的位置信息，采集车辆周围的路况信息，并将车辆周围的路况信息发送给服务器。

示例性的，路侧设备在获取到车辆的位置信息后，可以以车辆的位置信息为原点规划一个圆形区域，圆形区域的半径可以根据实际需要设置，例如可以是20米。采用路侧设备采集圆形区域内的路况信息，并将圆形区域内的路况信息作为车辆周围的路况信息发送给服务器。

S260、基于路况信息，修正环境图像信息、实际地形信息以及影像信息。

需要说明的是，在车辆行驶过程中，可能会由于天气恶劣或车辆行驶环境光线不足等原因导致车辆的图像采集设备、行车记录仪和雷达设备采集到的信息存在误差的问题。因此可以采用路侧设备采集到的路况信息对环境图像信息、实际地形信息以及影像信息进行修正。例如，在隧道环境下，由于隧道光线不足可能车辆在行驶过程中采集到的环境图像信息和影像信息中存在模糊的障碍物图像，此时可以根据路侧设备采集到的路况信息对环境图像信息和影像信息中的障碍物图像进行修正。

具体的，可以基于路况信息，对环境图像信息、实际地形信息以及影像信息中的有效目标进行修正。有效目标是指可能对车辆行驶状态带来影响的物体，比如车辆行驶道路上的行人、车辆行驶道路上的道路标线和车辆行驶道路上的坡起。

示例性的，服务器在获取到环境图像信息、实际地形信息和影像信息后，分别对环境图像信息、实际地形信息和影像信息进行特征提取，提取出环境图像信息、实际地形信息和影像信息中的有效目标。进一步的，服务器对从路侧设备获取的路况信息进行特征提取，提取出路况信息中的有效目标。

将路况信息中的有效目标与环境图像信息中的有效目标进行一致性比对，若比对结果为路况信息中的有效目标与环境图像信息中的有效目标一致，则环境图像信息无需修正；若比对结果为路况信息中的有效目标与环境图像信息中的有效目标不一致，则基于路况信息的有效目标对环境图像信息进行修正。例如，若路况信息中提取出的某个有效目标在环境图像信息中不存在，则可以将这一有效目标添加在环境图像信息中，以完善环境图像信息。

将路况信息中的有效目标与实际地形信息中的有效目标进行一致性比对，若比对结果为路况信息中的有效目标与实际地形信息中的有效目标一致，则实际地形信息无需修正；若比对结果为路况信息中的有效目标与实际地形信息中的有效目标不一致，则基于路况信息的有效目标对实际地形信息进行修正。

将路况信息中的有效目标与影像信息中的有效目标进行一致性比对，若比对结果为路况信息中的有效目标与影像信息中的有效目标一致，则影像信息无需修正；若比对结果为路况信息中的有效目标与影像信息中的有效目标不一致，则基于路况信息的有效目标对影像信息进行修正。

优选的，基于路况信息，修正环境图像信息、实际地形信息以及影像信息的方法还可以包括：根据路况信息，确定车辆周围的无效目标；剔除环境图像信息、实际地形信息以及影像信息中的无效目标。

其中，无效目标是指不会对车辆行驶状态带来影响的物体。

具体的，由于天气恶劣或车辆行驶环境光线不足等原因，可能导致车辆的图像采集设备、行车记录仪和雷达设备采集到的信息存在一定的误差，从而导致服务器在对环境图像信息、实际地形信息以及影像信息进行特征提取和特征识别时，误将无效目标识别为有效目标。例如，可能由于光线原因误将图像采集设备采集到的路面水渍识别为道路凹陷。因此，可以在获取到路况信息后，根据路况信息确定路况信息中的无效目标，再从环境图像信息、实际地形信息以及影像信息中剔除无效目标，以获得修正后的环境图像信息、实际地形信息和影像信息。

根据路况信息，剔除环境图像信息、实际地形信息以及影像信息中的无效目标，可以获取到更加精准的车辆周围的实际场景信息和实际地形信息。

S270、基于行驶状态数据，以及修正后的环境图像信息、实际地形信息和影像信息，实时构建车辆周围的三维场景图像。

具体的，服务器获取到修正后的环境图像信息和修正后的影像信息后，将修正后的环境图像信息和修正后的影像信息进行整合，获取到实际场景图像。根据车辆的行驶状态数据确定车辆的行驶速度数据和加速度数据，并根据行驶速度数据和加速度数据确定车辆行驶道路的道路状况数据。基于道路状况数据对实际场景图像中的道路状况图像进行调整，获得调整后的实际场景图像。将调整后的实际场景图像映射到修正后的实际地形信息中，以构建出车辆周围的三维场景图像。

本实施例提供的技术方案，通过路侧设备获取到车辆周围的路况信息；基于路况信息，修正环境图像信息、实际地形信息以及影像信息；基于行驶状态数据，以及修正后的环境图像信息、实际地形信息和影像信息，实时构建车辆周围的三维场景图像。解决了由于车辆在行驶过程中遭遇的异常环境，导致获取到的环境图像信息、实际地形信息和影像信息存在误差，从而使得构建的车辆周围的三维场景图像不准确的问题。通过获取路侧设备采集的路况信息对环境图像信息、实际地形信息和影像信息进行修正，可以获取到更加准确的环境图像信息、实际地形信息和影像信息，进而保证构建的车辆周围的三维场景图像更加精确。

实施例三

图3为本发明实施例三提供的一种数据处理方法的流程图，本实施例在上述实施例的基础上进行了优化，给出了一种根据三维场景图像和车辆的行驶状态数据确定用户当前的驾驶操作是否安全，并在驾驶操作不安全时发出告警信息，以提示用户及时调整驾驶操作的可选实施例。具体的，如图3所示，本实施例提供的数据处理方法可以包括：

S310、获取图像采集设备采集的车辆周围的环境图像信息。

S320、获取雷达设备采集的车辆周围的实际地形信息。

S330、获取车辆的行车记录仪采集到的影像信息。

S340、通过车辆的传感器设备获取到车辆的行驶状态数据。

S350、根据环境图像信息、实际地形信息、影像信息以及行驶状态数据，实时构建车辆周围的三维场景图像。

S360、根据三维场景图像和车辆的行驶状态数据确定用户当前的驾驶操作是否安全。

具体的，服务器可以根据三维场景图像和车辆状态数据，确定车辆当前的行驶状态是否符合车辆周围的实际场景。若车辆当前的行驶状态不符合车辆周围的实际场景，则确定用户当前的驾驶操作不安全；若车辆当前的行驶状态符合车辆周围的实际场景，则确定用户当前的驾驶操作安全。

示例性的，若服务器根据三维场景图像确定当前车辆行驶的道路限速80km/h，若根据车辆的行驶状态数据确定车辆当前的行驶速度小于或等于80km/h，则车辆当前的行驶状态符合车辆周围的实际场景，用户当前的驾驶操作安全；若根据车辆的行驶状态数据确定车辆当前的行驶速度大于80km/h，则车辆当前的行驶状态不符合车辆周围的实际场景，用户当前的驾驶操作不安全。

S370、若驾驶操作不安全，则发出告警信息，以提示用户及时调整驾驶操作。

其中，告警信息可以是车辆内的语音设备发出的语音告警信息，也可以是通过车载显示设备展示的文字或字符告警信息。

具体的，若服务器根据三维场景图像和车辆的行驶状态数据确定用户当前的驾驶操作不安全，则控制车内的告警设备对用户发出告警信息。告警设备可以是车辆内的语音设备或车载显示设备。优选的，告警信息可以包括驾驶操作不安全的原因以及驾驶操作的调整建议。例如，若服务器根据三维场景图像确定当前车辆行驶的道路限速80km/h，根据车辆的行驶状态数据确定车辆当前的行驶速度大于80km/h，则向用户发出告警信息，告警信息可以是：“当前道路限速80km/h，车辆已超速，请减速慢行”。用户接收到告警信息后，可以基于告警信息及时调整驾驶操作，以保证车辆安全行驶。

本实施例提供的技术方案，在构建车辆周围的三维场景图像后，根据三维场景图像和车辆的行驶状态数据确定用户当前的驾驶操作是否安全，若驾驶操作不安全，则发出告警信息，以提示用户及时调整驾驶操作。可以使用户在车辆的驾驶操作不安全时及时获得告警信息，从而调整驾驶操作，提高了车辆行驶的安全性。

实施例四

图4为本发明实施例四提供的一种数据处理装置的结构示意图，本实施例可适用于如何对数据进行处理的情况。如图4所示，该数据处理装置包括：环境图像信息获取模块410、实际地形信息获取模块420、影像信息获取模块430、行驶状态数据获取模块440和三维场景图像构建模块450。

其中，环境图像信息获取模块410，用于获取图像采集设备采集的车辆周围的环境图像信息；

实际地形信息获取模块420，用于获取雷达设备采集的车辆周围的实际地形信息；

影像信息获取模块430，用于获取车辆的行车记录仪采集到的影像信息；

行驶状态数据获取模块440，用于通过车辆的传感器设备获取到车辆的行驶状态数据；

三维场景图像构建模块450，用于根据环境图像信息、实际地形信息、影像信息以及行驶状态数据，实时构建所述车辆周围的三维场景图像。

本实施例提供的技术方案，通过获取车辆周围的环境图像信息、车辆周围的实际地形信息、车辆的行车记录仪采集到的影像信息以及车辆的行驶状态数据；以根据环境图像信息、实际地形信息、影像信息以及行驶状态数据，实时构建车辆周围的三维场景图像。上述方案解决了车辆在行驶过程中仅通过雷达设备或摄像设备获取车辆周围的环境信息，导致对车辆周围的环境感知能力有限，难以在车辆周围的环境动态变换的情况下实时且准确的获取到车辆周围的环境信息的问题；同时解决了现阶段构建出的车辆周围的场景图像时，仅能构建出二维环境图像或三维数字地形模型，而未能将实际环境与三维数字地形模型相结合，导致构建出的场景图像不直观，不便于用户理解场景图像的问题。在构建车辆周围的三维场景图像时，充分考虑到了车辆周围的环境变化因素，实时获取全面的车辆周围的环境数据以及车辆的行驶状态数据，以实时构建车辆周围的三维场景图像，可以获得更加直观和准确的车辆周围的场景图像。

其中，实际地形信息获取模块420还包括：

有效区域确定单元，用于根据雷达设备的监测数据，确定车辆周围的有效区域；

片层数据获取单元，用于获取雷达设备中的片层数据采集装置采集的有效区域内的片层数据；

有效地形信息确定单元，用于根据片层数据，确定有效区域的有效地形信息；

实际地形信息确定单元，用于将有效地形信息作为车辆周围的实际地形信息。

示例性的，有效地形信息确定单元具体用于：

根据片层数据，确定有效区域的地形因子；

根据地形因子，确定有效区域的有效地形信息。

示例性的，三维场景图像构建模块450还包括：

路况信息获取单元，用于通过路侧设备获取到车辆周围的路况信息；

信息修正单元，用于基于路况信息，修正环境图像信息、实际地形信息以及影像信息；

三维场景图像构建单元，用于基于行驶状态数据，以及修正后的环境图像信息、实际地形信息和影像信息，实时构建车辆周围的三维场景图像。

示例性的，信息修正单元具体用于：

根据所述路况信息，确定车辆周围的无效目标；

剔除环境图像信息、实际地形信息以及影像信息中的无效目标。

进一步的，上述数据处理装置还包括：

车辆行驶报告确定模块，用于根据三维场景图像和车辆的行驶状态数据生成车辆行驶报告；

车辆行驶报告发送模块，用于向用户发送车辆行驶报告，以使用户基于车辆行驶报告及时调整行驶状态。

示例性的，上述数据处理装置还包括：

驾驶操作评价模块，用于根据三维场景图像和车辆的行驶状态数据确定用户当前的驾驶操作是否安全；

告警信息发送模块，用于若驾驶操作不安全，则发出告警信息，以提示用户及时调整驾驶操作。

本实施例提供的数据处理装置可适用于上述任意实施例提供的数据处理方法，具备相应的功能和有益效果。

实施例五

图5为本发明实施例五提供的一种电子设备的结构示意图。图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据处理方法。

在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：区域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取图像采集设备采集的车辆周围的环境图像信息；

获取雷达设备采集的所述车辆周围的实际地形信息；

获取所述车辆的行车记录仪采集到的影像信息；

通过所述车辆的传感器设备获取到所述车辆的行驶状态数据；

根据所述环境图像信息、所述实际地形信息、所述影像信息以及所述行驶状态数据，实时构建所述车辆周围的三维场景图像。

2.根据权利要求1所述的方法，其特征在于，所述获取雷达设备采集的所述车辆周围的实际地形信息，包括：

根据雷达设备的监测数据，确定车辆周围的有效区域；

获取所述雷达设备中的片层数据采集装置采集的所述有效区域内的片层数据；

根据所述片层数据，确定所述有效区域的有效地形信息；

将所述有效地形信息作为车辆周围的实际地形信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述片层数据，确定所述有效区域的有效地形信息，包括：

根据所述片层数据，确定有效区域的地形因子；

根据所述地形因子，确定所述有效区域的有效地形信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述环境图像信息、所述实际地形信息、所述影像信息以及所述行驶状态数据，实时构建所述车辆周围的三维场景图像，包括：

通过路侧设备获取到所述车辆周围的路况信息；

基于所述路况信息，修正所述环境图像信息、所述实际地形信息以及所述影像信息；

基于所述行驶状态数据，以及修正后的环境图像信息、实际地形信息和影像信息，实时构建所述车辆周围的三维场景图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述路况信息，修正所述环境图像信息、所述实际地形信息以及所述影像信息，包括：

根据所述路况信息，确定所述车辆周围的无效目标；

剔除所述环境图像信息、所述实际地形信息以及所述影像信息中的无效目标。

6.根据权利要求1所述的方法，其特征在于，包括：

根据所述三维场景图像和所述车辆的行驶状态数据生成车辆行驶报告；

向用户发送所述车辆行驶报告，以使用户基于车辆行驶报告及时调整行驶状态。

7.根据权利要求1所述的方法，其特征在于，包括：

根据所述三维场景图像和所述车辆的行驶状态数据确定用户当前的驾驶操作是否安全；

若所述驾驶操作不安全，则发出告警信息，以提示所述用户及时调整驾驶操作。

8.一种数据处理装置，其特征在于，包括：

环境图像信息获取模块，用于获取图像采集设备采集的车辆周围的环境图像信息；

实际地形信息获取模块，用于获取雷达设备采集的所述车辆周围的实际地形信息；

影像信息获取模块，用于获取所述车辆的行车记录仪采集到的影像信息；

行驶状态数据获取模块，用于通过所述车辆的传感器设备获取到所述车辆的行驶状态数据；

三维场景图像构建模块，用于根据所述环境图像信息、所述实际地形信息、所述影像信息以及所述行驶状态数据，实时构建所述车辆周围的三维场景图像。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据处理方法。

Images