CN117651040A - 报文数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种报文数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；基于M个时间帧下N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。采用本方法能够提高报文数据的可视化效果。

Description

报文数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种报文数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

对于自动驾驶技术的开发，数据是必不可少的，无论是车身数据还是传感器数据，在开发过程中都起到重要的作用，怎么利用这些数据进行更高效的研发一直是自动驾驶领域关注的重点。

车身数据和传感器数据通常以报文的形式采集得到，由于报文数据的数据量较大，传统的报文数据经过解析并保存后，数据稀疏，不方便数据的查看，可视化效果较差。

发明内容

基于此，有必要针对上述技术问题，提供一种报文数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，能够提高报文数据的可视化效果。

第一方面，本申请提供了一种报文数据处理方法，包括：

获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；

针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；

对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；

基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

在其中一个实施例中，对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据，包括：

对当前时间帧下的雷达报文进行解析，得到当前时间帧下雷达报文对应的雷达数据，雷达数据包括位置信息和运行信息；

根据位置信息，确定出N2个第二障碍物；

在运行信息中，确定出当前时间帧下N2个第二障碍物的第二运行数据。

在其中一个实施例中，基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列，包括：

针对每个时间帧，将当前时间帧下N2个第二障碍物的第二运行数据进行组合；确定N2个第二障碍物的顺序，按照N2个第二障碍物的顺序进行排序，确定当前时间帧下N2个第二障碍物的运行数据序列。

在其中一个实施例中，基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放，包括：

针对每个时间帧，根据当前时间帧下N1个第一障碍物的第一运行数据，确定当前时间帧下N1个第一障碍物各自在显示屏上的位置和运动方向；

根据当前时间帧下N2个第二障碍物的运行数据序列，确定当前时间帧下N2个第二障碍物各自在显示屏上的位置和运动方向；

按照M个时间帧的先后顺序，在显示屏中依次显示M个时间帧中的N1个第一障碍物，以及N2个第二障碍物的位置和运动方向。

在其中一个实施例中，基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放，包括：

对M个时间帧内的图像报文分别进行解析，得到M个时间帧内的车道线信息；

基于M个时间帧内的车道线信息、N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。

在其中一个实施例中，报文数据处理方法还包括：

获取当前时间帧下N1个第一障碍物各自对应的解析时间戳；

按照解析时间戳的顺序，对当前时间帧下N1个第一障碍物的第一运行数据进行排序，得到当前时间帧下排序后的数据序列；

将M个时间帧下排序后的数据序列，按行写入图像文本文件。

第二方面，本申请还提供了一种报文数据处理装置，包括：

获取模块，用于获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；

第一解析模块，用于针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；

第二解析模块，用于对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；

回放模块，用于基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；

针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；

对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；

基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；

针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；

对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；

基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；

针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；

对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；

基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

上述报文数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文，针对每个时间帧，对当前时间帧下的图像报文和雷达报文分别进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据，以及N2个第二障碍物的第二运行数据，基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列，由于每个时间帧下采集到多个障碍物的运行数据按照时间帧顺序排列，数据回放时可以按照时间帧顺序回放，提高了报文数据的可视化效果。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中报文数据处理方法的应用环境图；

图2为一个实施例中报文数据处理方法的流程示意图；

图3为另一个实施例中报文数据处理方法的流程示意图；

图4为一个实施例中数据采集的流程示意图；

图5为一个实施例中数据处理的流程示意图；

图6为一个实施例中数据回放的流程示意图；

图7为一个实施例中报文数据处理装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的报文数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102分别与车辆中安装的图像采集设备104和雷达106进行数据通信。图像采集设备104用于采集车辆行驶过程中的图像报文。雷达106用于采集车辆行驶过程中红的雷达报文。终端102可以独立部署于车辆外部，也可以集成于车辆内部，例如，终端102可以为电子控制单元（ECU，Engine Control Unit）。本申请实施例提供的报文数据处理方法可以由终端102执行，终端102获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个示例性的实施例中，如图2所示，提供了一种报文数据处理方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤202至步骤208。其中：

步骤202，获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文。

其中，图像报文为车辆中部署的图像采集设备采集得到图像信号。雷达报文为车辆中部署的雷达设备采集得到雷达信号。例如，雷达设备可以为毫米波雷达设备。图像报文和雷达报文通常为CAN报文。

在一些实施例中，还可以采用CANape软件作为采集工具，采集的数据包括车辆自身数据和多种传感器数据，例如，图像信号和雷达信号等。在数据采集之前，需要获取各路信号的DBC文件，以DBC文件为基础，创建CANape数据采集工程，在工程中，将图像采集设备的信号通道、雷达设备的信号通道分别与CAN通道匹配，并设置分别与图像信号，或者雷达信号相匹配的通道波特率。

CANape数据采集工程创建后，将根据不同的信号来源将图像报文、雷达报文分别放到给在对应的记录器中。

步骤204，针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据。

其中，读取记录器中的图像报文，根据记录器的类型，采用相应的工具对图像报文进行解析。图像报文的解析可以为逐帧解析。例如，图像报文保存在DBC文件中，采用DBC文件的解析器对DBC文件中保存的图像报文进行逐帧解析，得到每个时间帧下的图像。采用图像识别算法对图像进行目标识别，得到图像中的N1个第一障碍物，以及N1个第一障碍物各自对应的第一运行数据。第一运行数据包括位置数据、速度数据和移动方向等。通常单张图像可以识别得到不同障碍物的位置数据，由多张图像中障碍物的位置数据，可以确定出障碍物的速度数据和移动方向等数据。第一障碍物的类型包括车辆类型、行人类型和路障类型等。

步骤206，对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列。

其中，读取记录器中的雷达报文，根据记录器的类型，采用相应的工具对雷达报文进行解析。雷达报文的解析可以为逐帧解析，得到每个时间帧下的雷达数据。雷达数据包括N2个第二障碍物的位置数据。根据多个时间帧下各个第二障碍物的位置数据变化，确定出多个时间帧下各个第二障碍物各自对应的速度数据和移动方向等。第二运行数据包括位置数据、速度数据和移动方向等。

每个第二运行数据均有与之对应的时间帧和第二障碍物。按照时间帧的先后顺序，对第二运行数据进行组合，得到运行数据序列。运行数据序列为每个时间帧下N2个第二障碍物的第二运行数据组合序列。

步骤208，基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

其中，数据回放指的是将各个障碍物的运行数据在车辆的显示屏幕中显示。按照时间帧进行数据回放时，各个障碍物的运行数据随着时间帧的变化，在显示屏幕中显示出各个障碍物的运行数据变化趋势。每个时间帧下各个障碍物的运行数据包括N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列。

在一些实施例中，还可以基于M个时间帧的顺序，将M个时间帧下N1个第一障碍物的第一运行数据进行组合，得到M个时间帧下N1个第一障碍物的数据序列。基于M个时间帧下N1个第一障碍物的数据序列，和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。

上述报文数据处理方法中，通过获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文，针对每个时间帧，对当前时间帧下的图像报文和雷达报文分别进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据，以及N2个第二障碍物的第二运行数据，基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列，由于每个时间帧下采集到多个障碍物的运行数据按照时间帧顺序排列，数据回放时可以按照时间帧顺序回放，提高了报文数据的可视化效果。

在一个示例性的实施例中，对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据，包括：对当前时间帧下的雷达报文进行解析，得到当前时间帧下雷达报文对应的雷达数据，雷达数据包括位置信息和运行信息；根据位置信息，确定出N2个第二障碍物；在运行信息中，确定出当前时间帧下N2个第二障碍物的第二运行数据。

其中，雷达报文以CAN报文的行驶存储在记录器中，按照CAN报文的解析方法对雷达报文进行逐帧解析，得到每个时间帧下雷达报文对应的雷达数据。

雷达数据中包括N2个第二障碍物各自对应的位置信息，由多个时间帧内N2个障碍物的位置信息，可以确定出N2个障碍物在多个时间帧内各自对应的速度信息和运行方向信息等。运行信息包括速度信息和运行方向信息。

车辆的障碍物往往处于环境中的不同位置，由当前时间帧内的多个位置信息，确定出N2个第二障碍物。第二运行数据为当前时间帧的运行信息中N2个第二障碍物各自对应的运行数据。

本实施例中，通过对雷达报文进行逐帧解析，得到第二障碍物各自对应的第二运行数据，有利于对报文数据的可视化展示。

在一个示例性的实施例中，基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列，包括：针对每个时间帧，将当前时间帧下N2个第二障碍物的第二运行数据进行组合；确定N2个第二障碍物的顺序，按照N2个第二障碍物的顺序进行排序，确定所述当前时间帧下N2个第二障碍物的运行数据序列。

其中，对于每个时间帧，首先将当前时间帧下N2个第二障碍物各自对应的第二运行数据组合起来，得到当前时间帧下的运行数据组合。

N2个第二障碍物的顺序可以为各自对应的解析顺序。由于N2个第二障碍物的位置不同，对雷达报文解析，解析出的第二障碍物的顺序不同。按照N2个第二障碍物的顺序对当前时间帧下的运行数据组合进行排序，得到当前时间帧下N2个第二障碍物的运行数据序列。

M个时间帧下，均按照这种方法，得到M个时间帧下N2个第二障碍物的运行数据序列。

在一些实施例中，可以将当前时间帧N2个第二障碍物的运行数据序列写入文件中的一行，从而文件的每行中包括一个时间帧的运行数据序列，有利于从文件中读取出按时间帧的顺序排列的运行数据。

本实施例中，通过对每个时间帧内的第二运行数据，先组合，再排序，得到按照时间帧顺序排列的运行数据序列，有利于在后续的数据回放中可视化展示数据的变化趋势。

在一个示例性的实施例中，基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放，包括：针对每个时间帧，根据当前时间帧下N1个第一障碍物的第一运行数据，确定当前时间帧下N1个第一障碍物各自在显示屏上的位置和运动方向；根据当前时间帧下N2个第二障碍物的运行数据序列，确定当前时间帧下N2个第二障碍物各自在显示屏上的位置和运动方向；按照M个时间帧的先后顺序，在显示屏中依次显示M个时间帧中的N1个第一障碍物，以及N2个第二障碍物的位置和运动方向。

其中，第一运行数据包括位置数据。针对每个时间帧，将N1个第一障碍物的第一运行数据中的位置数据转换至显示屏中，得到N1个第一障碍物各自在显示屏上的位置。由当前时间帧，以及与当前时间帧相邻的下一时间帧中N1个第一障碍物各自在显示屏上的位置，可以得到当前时间帧的运行方向。

按照M个时间帧的先后顺序，在显示屏中依次在每个时间帧的显示画面中对N1个第一障碍物进行标注，从而显示N1个第一障碍物的标注，并显示出N1个第一障碍物各自对应的位置和运行方向。

可以采用相同的方法，在显示屏中M个时间帧中N2个第二障碍物，以及N2个第二障碍物的位置和运动方向。

在一些实施例中，第一障碍物和第二障碍物在显示屏中可以区分显示。例如，可以通过颜色、不同的形状等方法进行区分。

本实施例中，通过对每个时间帧，由各个障碍物的运行数据，确定各自在显示屏上的位置和运动方向，从而在显示屏中分别显示各个障碍物的位置和运动方向，这种按照时间帧的顺序对各个障碍物的进行数据回放，提高了报文数据的可视化效果。

在一个示例性的实施例中，基于M个时间帧下N1个第一障碍物的第一运行数据和第二运行数据序列，按照时间帧进行数据回放，包括：

对M个时间帧内的图像报文分别进行解析，得到M个时间帧内的车道线信息；

基于M个时间帧内的车道线信息、N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。

其中，提取图像报文中的各种图像特征，确定图像特征中的车道线特征，由车道线特征，转换为车道线信息。车道线信息中包括车道线数量、车道线方向、车道线交叉点等。

在一些实施例中，在显示屏中回放采集到的图像，针对每个时间帧，根据车道线信息，在显示屏中勾画出车道线。同时，显示屏中回放N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列。

本实施例中，通过解析出图像报文中的车道线信息，在显示屏中同时回放车道线信息、N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，有利于提高报文数据的可视化效果。

在一个示例性的实施例中，报文数据处理方法还包括：

获取当前时间帧下N1个第一障碍物各自对应的解析时间戳；

按照解析时间戳的顺序，对当前时间帧下N1个第一障碍物的第一运行数据进行排序，得到当前时间帧下排序后的数据序列；

将M个时间帧下排序后的数据序列，按行写入图像文本文件。

其中，解析时间戳为对图像报文进行解析时，N1个第一障碍物各自对应的输出时间戳。每个时间帧下，N1个第一障碍物的第一运行数据按照解析时间戳的顺序进行排序，得到当前时间帧下排序后的数据序列。

将当前时间帧下排序后的数据序列，写入图像文本文件中的一行，再按照M个时间帧的顺序，将M个时间帧下排序后的数据序列，按行依次写入图像文本文件。

本实施例中，通过按照各个第一障碍物的解析时间戳的顺序，对第一障碍物的第一运行数据进行排序，从而将同一时间帧下的排序后的数据序列写入图像文本文件中的一行，由于对报文数据解析后的运行数据按照时间帧写入在同一文本行，有利于提高报文数据的可视化效果。

为详细说明本方案中报文数据处理方法及效果，下面以一个最详细实施例进行说明：

以报文数据处理方法应用于车载传感器报文数据的采集、处理和回放场景。如图3所示为一个实施例中报文数据处理方法的流程示意图。报文数据处理方法包括如下步骤：

步骤一、数据采集

数据采集包括自车数据采集和传感器数据采集，传感器包括摄像头和毫米波雷达。如图4所示为一个实施例中数据采集的流程示意图。采集工具可以为CANape（用于电子设备测量、校准诊断和开发的系统）软件。在数据采集之前，需要各路信号的dbc文件（一种描述网络上所有电子节点之间CAN通信信息的数据库文件），以dbc文件为基础，创建CANape数据采集工程，在工程中，将各数据通道与CAN（Controller Area Network，控制器局域）通道进行匹配，并设置通道波特率与传感器信号或车身信号相匹配。

工程创建后选择需要采集的信号，根据不同的信号来源将这些信号分别放到不同的记录器中。同时为方便数据回放，在工程中加入视频采集通道，采集车辆行驶场景。

当数据采集开始后，采集的数据将通过以太网传输到终端中，例如，数据保存成mdf（Mirror Disc File，媒体光盘映像文件）标准格式，视频保存成avi（Audio VideoInterleaved，音频视频交错格式）格式。

步骤二、数据处理

如图5所示一个实施例中数据处理的流程示意图。摄像头采集到的图像报文，以及毫米波雷达采集到的雷达报文均为CAN信号，通过dbc文件解析成可读信号，但由于CAN报文传输时间戳不同，每一个时间戳都要占据单独的一行，导致采集的数据表维度很大，数据稀疏，不方便对数据的查看，所以需要对数据进行简化处理，处理后的文件格式可以为csv（Comma-Separated Values，字符分隔值文件）文件。同时，处理后的数据可以作为自动驾驶软件仿真的输入，评测软件的质量。

（1）自车数据和摄像头数据处理

自车数据和摄像头数据处理是相似的，两种数据都是逐帧进行发送，所以在数据处理时需要将同一帧时间内的数据处理成同一行数据，以每一帧的开始时间为基准进行数据统一，使数据方便查看。

（2）毫米波雷达数据处理

毫米波雷达发送数据的原理与摄像头不同，毫米波雷达检测到的多个障碍物的信息共用同一个报文，因此，在数据处理中，要先将同一帧雷达报文的多个障碍物信息拆分再重新组合，使多个障碍物信息的时间统一成每帧开始的时间。

步骤三、数据回放

如图6所示一个实施例中数据回放的流程示意图。数据回放包括两个方面，第一个是采集数据的回放，第二个是软件结果输出数据的回放。对于采集的数据，有两种回放方式，第一种是将CANape采集的mdf数据直接回放，第二种是将处理后的csv文件重新生成mdf文件回放，其中第一种是单独的数据回放，第二种可以和软件结果输出数据相结合，与软件输出的csv文件共同转换成同一个mdf文件，在数据回放的时候可以将输入和输出数据进行对比，评测软件功能的完善性。

在数据回放时，加入可视化处理，在CANape工程中创建多个对象，每一个对象都与障碍物的位置坐标相关联，最后将这些object在鸟瞰图中显示出来，使其随着数据回放的过程，实时变化，就可以看到真实场景中各障碍物的运动状态，同时在鸟瞰图中还可以加入车道线信息，用于辅助软件开发人员对实际场景进行评测和估计。

上述报文数据处理方法，通过获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文，针对每个时间帧，对当前时间帧下的图像报文和雷达报文分别进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据，以及N2个第二障碍物的第二运行数据，基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列，由于每个时间帧下采集到多个的障碍物的运行数据按照时间帧顺序排列，数据回放时可以按照时间帧顺序回放，提高了报文数据的可视化效果。同时，在数据采集时采用远程传输的方式，避免采集工作耗费更多人力物力，数据处理过程降低了数据复杂度，使数据可以作为自动驾驶仿真软件的输入，数据回放中加入可视化处理，更直观的将数据展现出来，整套系统将数据的价值深度挖掘，有利于自动驾驶软件的研发。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的报文数据处理方法的报文数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个报文数据处理装置实施例中的具体限定可以参见上文中对于报文数据处理方法的限定，在此不再赘述。

在一个示例性的实施例中，如图7所示，提供了一种报文数据处理装置100，包括：获取模块120、第一解析模块140、第二解析模块160和回放模块180，其中：

获取模块120，用于获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；

第一解析模块140，用于针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；

第二解析模块160，用于对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；

回放模块180，用于基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

上述报文数据处理方法，通过获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文，针对每个时间帧，对当前时间帧下的图像报文和雷达报文分别进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据，以及N2个第二障碍物的第二运行数据，基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列，由于每个时间帧下采集到的多个障碍物的运行数据按照时间帧顺序排列，数据回放时可以按照时间帧顺序回放，提高了报文数据的可视化效果。

在一个实施例中，对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据，第二解析模块160还用于：对当前时间帧下的雷达报文进行解析，得到当前时间帧下雷达报文对应的雷达数据，雷达数据包括位置信息和运行信息；根据位置信息，确定出N2个第二障碍物；在运行信息中，确定出当前时间帧下N2个第二障碍物的第二运行数据。

在一个实施例中，基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列，第二解析模块160还用于：针对每个时间帧，将当前时间帧下N2个第二障碍物的第二运行数据进行组合；确定N2个第二障碍物的顺序，按照N2个第二障碍物的顺序进行排序，确定当前时间帧下N2个第二障碍物的运行数据序列。

在一个实施例中，基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放，回放模块180还用于：针对每个时间帧，根据当前时间帧下N1个第一障碍物的第一运行数据，确定当前时间帧下N1个第一障碍物各自在显示屏上的位置和运动方向；根据当前时间帧下N2个第二障碍物的运行数据序列，确定当前时间帧下N2个第二障碍物各自在显示屏上的位置和运动方向；按照M个时间帧的先后顺序，在显示屏中依次显示M个时间帧中的N1个第一障碍物，以及N2个第二障碍物的位置和运动方向。

在一个实施例中，基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放，回放模块180还用于：对M个时间帧内的图像报文分别进行解析，得到M个时间帧内的车道线信息；基于M个时间帧内的车道线信息、N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。

在一个实施例中，报文数据处理装置100还包括写入模块，写入模块还用于：获取当前时间帧下N1个第一障碍物各自对应的解析时间戳；按照解析时间戳的顺序，对当前时间帧下N1个第一障碍物的第一运行数据进行排序，得到当前时间帧下排序后的数据序列；将M个时间帧下排序后的数据序列，按行写入图像文本文件。

上述报文数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种报文数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对当前时间帧下的雷达报文进行解析，得到当前时间帧下雷达报文对应的雷达数据，雷达数据包括位置信息和运行信息；根据位置信息，确定出N2个第二障碍物；在运行信息中，确定出当前时间帧下N2个第二障碍物的第二运行数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

针对每个时间帧，将当前时间帧下N2个第二障碍物的第二运行数据进行组合；确定N2个第二障碍物的顺序，按照N2个第二障碍物的顺序进行排序，确定当前时间帧下N2个第二障碍物的运行数据序列。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

针对每个时间帧，根据当前时间帧下N1个第一障碍物的第一运行数据，确定当前时间帧下N1个第一障碍物各自在显示屏上的位置和运动方向；根据当前时间帧下N2个第二障碍物的运行数据序列，确定当前时间帧下N2个第二障碍物各自在显示屏上的位置和运动方向；按照M个时间帧的先后顺序，在显示屏中依次显示M个时间帧中的N1个第一障碍物，以及N2个第二障碍物的位置和运动方向。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对M个时间帧内的图像报文分别进行解析，得到M个时间帧内的车道线信息；基于M个时间帧内的车道线信息、N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取当前时间帧下N1个第一障碍物各自对应的解析时间戳；按照解析时间戳的顺序，对当前时间帧下N1个第一障碍物的第一运行数据进行排序，得到当前时间帧下排序后的数据序列；将M个时间帧下排序后的数据序列，按行写入图像文本文件。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对当前时间帧下的雷达报文进行解析，得到当前时间帧下雷达报文对应的雷达数据，雷达数据包括位置信息和运行信息；根据位置信息，确定出N2个第二障碍物；在运行信息中，确定出当前时间帧下N2个第二障碍物的第二运行数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

针对每个时间帧，将当前时间帧下N2个第二障碍物的第二运行数据进行组合；确定N2个第二障碍物的顺序，按照N2个第二障碍物的顺序进行排序，确定当前时间帧下N2个第二障碍物的运行数据序列。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

针对每个时间帧，根据当前时间帧下N1个第一障碍物的第一运行数据，确定当前时间帧下N1个第一障碍物各自在显示屏上的位置和运动方向；根据当前时间帧下N2个第二障碍物的运行数据序列，确定当前时间帧下N2个第二障碍物各自在显示屏上的位置和运动方向；按照M个时间帧的先后顺序，在显示屏中依次显示M个时间帧中的N1个第一障碍物，以及N2个第二障碍物的位置和运动方向。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对M个时间帧内的图像报文分别进行解析，得到M个时间帧内的车道线信息；基于M个时间帧内的车道线信息、N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取当前时间帧下N1个第一障碍物各自对应的解析时间戳；按照解析时间戳的顺序，对当前时间帧下N1个第一障碍物的第一运行数据进行排序，得到当前时间帧下排序后的数据序列；将M个时间帧下排序后的数据序列，按行写入图像文本文件。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；针对每个时间帧，对当前时间帧下的图像报文进行解析，得到当前时间帧下N1个第一障碍物的第一运行数据；对当前时间帧下的雷达报文进行解析，得到当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；M、N1和N2均为大于1的自然数。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对当前时间帧下的雷达报文进行解析，得到当前时间帧下雷达报文对应的雷达数据，雷达数据包括位置信息和运行信息；根据位置信息，确定出N2个第二障碍物；在运行信息中，确定出当前时间帧下N2个第二障碍物的第二运行数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

针对每个时间帧，将当前时间帧下N2个第二障碍物的第二运行数据进行组合；确定N2个第二障碍物的顺序，按照N2个第二障碍物的顺序进行排序，确定当前时间帧下N2个第二障碍物的运行数据序列。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

针对每个时间帧，根据当前时间帧下N1个第一障碍物的第一运行数据，确定当前时间帧下N1个第一障碍物各自在显示屏上的位置和运动方向；根据当前时间帧下N2个第二障碍物的运行数据序列，确定当前时间帧下N2个第二障碍物各自在显示屏上的位置和运动方向；按照M个时间帧的先后顺序，在显示屏中依次显示M个时间帧中的N1个第一障碍物，以及N2个第二障碍物的位置和运动方向。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对M个时间帧内的图像报文分别进行解析，得到M个时间帧内的车道线信息；基于M个时间帧内的车道线信息、N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取当前时间帧下N1个第一障碍物各自对应的解析时间戳；按照解析时间戳的顺序，对当前时间帧下N1个第一障碍物的第一运行数据进行排序，得到当前时间帧下排序后的数据序列；将M个时间帧下排序后的数据序列，按行写入图像文本文件。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种报文数据处理方法，其特征在于，所述方法包括：

获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；

针对每个时间帧，对当前时间帧下的图像报文进行解析，得到所述当前时间帧下N1个第一障碍物的第一运行数据；

对所述当前时间帧下的雷达报文进行解析，得到所述当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；

基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；所述M、N1和N2均为大于1的自然数。

2.根据权利要求1所述的方法，其特征在于，所述对所述当前时间帧下的雷达报文进行解析，得到所述当前时间帧下N2个第二障碍物的第二运行数据，包括：

对所述当前时间帧下的雷达报文进行解析，得到所述当前时间帧下雷达报文对应的雷达数据，所述雷达数据包括位置信息和运行信息；

根据所述位置信息，确定出N2个第二障碍物；

在所述运行信息中，确定出所述当前时间帧下N2个第二障碍物的第二运行数据。

3.根据权利要求1所述的方法，其特征在于，所述基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列，包括：

针对每个时间帧，将当前时间帧下N2个第二障碍物的第二运行数据进行组合；确定N2个第二障碍物的顺序，按照N2个第二障碍物的顺序进行排序，确定所述当前时间帧下N2个第二障碍物的运行数据序列。

4.根据权利要求1所述的方法，其特征在于，所述基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放，包括：

针对每个时间帧，根据当前时间帧下N1个第一障碍物的第一运行数据，确定所述当前时间帧下N1个第一障碍物各自在显示屏上的位置和运动方向；

根据所述当前时间帧下N2个第二障碍物的运行数据序列，确定所述当前时间帧下N2个第二障碍物各自在显示屏上的位置和运动方向；

按照M个时间帧的先后顺序，在所述显示屏中依次显示M个时间帧中的N1个第一障碍物，以及N2个第二障碍物的位置和运动方向。

5.根据权利要求1所述的方法，其特征在于，所述基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放，包括：

对M个时间帧内的图像报文分别进行解析，得到M个时间帧内的车道线信息；

基于M个时间帧内的车道线信息、N1个第一障碍物的第一运行数据和N2个第二障碍物的运行数据序列，按照时间帧进行数据回放。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：

获取所述当前时间帧下N1个第一障碍物各自对应的解析时间戳；

按照所述解析时间戳的顺序，对所述当前时间帧下N1个第一障碍物的第一运行数据进行排序，得到所述当前时间帧下排序后的数据序列；

将M个时间帧下排序后的数据序列，按行写入图像文本文件。

7.一种报文数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取车辆行驶过程中在M个时间帧内采集到的图像报文和雷达报文；

第一解析模块，用于针对每个时间帧，对当前时间帧下的图像报文进行解析，得到所述当前时间帧下N1个第一障碍物的第一运行数据；

第二解析模块，用于对所述当前时间帧下的雷达报文进行解析，得到所述当前时间帧下N2个第二障碍物的第二运行数据；基于M个时间帧的顺序，将M个时间帧下N2个第二障碍物的第二运行数据进行组合，得到M个时间帧下N2个第二障碍物的运行数据序列；

回放模块，用于基于M个时间帧下N1个第一障碍物的第一运行数据和M个时间帧下N2个第二障碍物的运行数据序列，按照时间帧进行数据回放；所述M、N1和N2均为大于1的自然数。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。