CN112333409A - 自动驾驶系统的数据处理方法、装置和电子设备 - Google Patents

Abstract

本发明实施例公开了自动驾驶系统的数据处理方法、装置和电子设备，该数据处理方法包括：获取当前时刻的视频图像数据和传感器数据；如果所述当前时刻的视频图像数据的编码格式不是h264格式，则将所述当前时刻的视频图像数据转换为h264格式的视频图像数据；将所述h264格式的视频图像数据和所述传感器数据进行融合存储。本发明可以对自动驾驶系统分析数据信息时，无需通过对数据库进行查询，操作简单，效率高。

Description

自动驾驶系统的数据处理方法、装置和电子设备

技术领域

本发明实施例涉及车辆技术领域和自动驾驶领域，具体涉及自动驾驶系统的数据处理方法、装置和电子设备。

背景技术

自动驾驶系统采用先进的通信、计算机、网络和控制技术，对车辆实现实时、连续控制。

在对自动驾驶系统分析数据信息时，需要根据视频的时间去数据库查找对应数据信息，操作繁琐、效率低。

发明内容

本发明实施例的目的在于提供自动驾驶系统的数据处理方法、装置和电子设备，用以解决现有自动驾驶系统分析数据信息时操作繁琐、效率低的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种自动驾驶系统的数据处理方法，包括：

获取当前时刻的视频图像数据和传感器数据；

如果所述当前时刻的视频图像数据的编码格式不是h264格式，则将所述当前时刻的视频图像数据转换为h264格式的视频图像数据；

将所述h264格式的视频图像数据和所述传感器数据进行融合存储。

根据本发明的一个实施例，将所述h264格式的视频图像数据和所述传感器数据进行融合存储，包括：

在所述h264格式的视频图像数据的视频帧后增加一个NALU的存储单元；

将所述传感器数据存储在所述存储单元中。

根据本发明的一个实施例，所述传感器数据包括车速、位置信息、油耗、油量、发动机转速、档位和转向角度、水温、胎压、电瓶信息、车灯使用情况和转向信息中的至少一种。

根据本发明的一个实施例，在将所述h264格式的视频图像数据和所述传感器数据进行融合存储之后，还包括：

接收视频图像播放指令；

根据所述视频图像播放指令提取视频播放时间；

获取所述视频播放时间对应的视频图像数据和传感器数据；

根据所述视频图像数据进行显示，并在显示画面中显示当前播放时间的传感器数据。

第二方面，本发明实施例还提供一种自动驾驶系统的数据处理装置，包括：

获取模块，用于获取当前时刻的视频图像数据和传感器数据；

存储模块；

控制处理模块，用于在所述当前时刻的视频图像数据的编码格式不是h264格式时，将所述当前时刻的视频图像数据转换为h264格式的视频图像数据，并将h264格式的视频图像数据和所述传感器数据通过所述存储模块进行融合存储。

根据本发明的一个实施例，所述控制处理模块用于在所述h264格式的视频图像数据的视频帧后增加一个NALU的存储单元；所述控制处理模块还用于通过所述存储模块将所述传感器数据存储在所述存储单元中。

根据本发明的一个实施例，所述传感器数据包括车速、位置信息、油耗、油量、发动机转速、档位和转向角度、水温、胎压、电瓶信息、车灯使用情况和转向信息中的至少一种。

根据本发明的一个实施例，还包括：

显示模块：

其中，所述获取模块还用于接收视频图像播放指令；所述控制处理模块还用于根据所述视频图像播放指令提取视频播放时间；所述获取模块还用于获取所述视频播放时间对应的视频图像数据和传感器数据；所述显示模块用于根据所述视频图像数据进行显示，并在显示画面中显示当前播放时间的传感器数据。

第三方面，本发明实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如第一方面所述的自动驾驶系统的数据处理方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，包含一个或多个程序指令，所述一个或多个程序指令用于被执行如第一方面所述的自动驾驶系统的数据处理方法。

本发明实施例提供的技术方案至少具有如下优点：

本发明实施例提供的自动驾驶系统的数据处理方法、装置和电子设备，将视频图像数据通过h264编码格式与传感器数据进行融合存储，在需要进行对自动驾驶系统分析数据信息时，播放视频的同时可以显示传感器数据，无需通过对数据库进行查询，操作简单，效率高。

附图说明

图1为本发明实施例的自动驾驶系统的数据处理方法的流程图。

图2为本发明实施例中融合存储的示意图。

图3为本发明实施例的自动驾驶系统的数据处理装置的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”和“连接”应做广义理解，例如可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1为本发明实施例的自动驾驶系统的数据处理方法的流程图。如图1所示，本发明实施例的自动驾驶系统的数据处理方法，包括：

S1：获取当前时刻的视频图像数据和传感器数据。

具体地，具有自动驾驶系统的车辆上安装有摄像头和传感器。在车辆进行自动驾驶时，通过摄像头拍摄视频生成视频图像数据，并通过车辆上的传感器获取传感器数据。

其中，摄像头为自动驾驶系统的摄像头，可以为行车记录仪的摄像头和对车辆周围环境拍摄视频的摄像头，还可以为驾驶舱的摄像头。

传感器数据包括：车速、位置信息、油耗、油量、发动机转速、档位和转向角度、水温、胎压、电瓶信息、车灯使用情况和转向信息中的至少一种，优选包括以上所有的数据。

由于自动驾驶过程需要实时感知车辆周围的环境和道路情况，因此通过摄像头拍摄的视频数据可以知道车辆的周围情况，再配合传感器数据可以有助于对自动驾驶系统的性能进行分析。

S2：如果当前时刻的视频图像数据的编码格式不是h264格式，则将当前时刻的视频图像数据转换为h264格式的视频图像数据。

S3：将h264格式的视频图像数据和传感器数据进行融合存储。

图2为本发明实施例中融合存储的示意图。如图2所示，本实施例基于h264数据编码格式支持自定义数据，在视频图像数据的当前帧所在的NALU后增加一个NALU，nal_unit_type设置为6(SEI类型)，其它传感器数据以自定义格式保存在nal_unit_type为6的NALU中。其中，NALU是一种封装的模组，并拥有NAL-unit标头(Header)，此Header内又有许多资讯，包括Type。一个完整的NALU是标头(Header)加上位元流(bitstream)。多个NAL-units组成一个存储单元(access unit)。NALU的类型：标识NAL单元中数据类型，其中，nal_unit_type为1，2，3，4，5及12的NAL单元称为VCL的NAL单元，其他类型的NAL单元为非VCL的NAL单元。

在本发明的一个实施例中，自动驾驶系统的数据处理方法还包括：

S4：接收视频图像播放指令。

具体地，当需要对自动驾驶系统进行数据分析时由分析人员向发送视频图像播放指令。其中，视频图像播放指令至少包括需要播放视频的起始时间，还可以包括视频终止时间。

S5：根据视频图像播放指令提取视频播放时间。

S6：获取视频播放时间对应的视频图像数据和传感器数据。

具体地，通过选定视频播放时间获取相应时间段内的视频图像数据和传感器数据。

S7：根据视频图像数据进行显示，并在显示画面中显示当前播放时间的传感器数据。

在本发明的一个示例中，自动驾驶车辆出现问题时，工作人员根据出现问题的时间点向前推预设时间选定一个具体的时间点作为视频起始时间，然后观看视频。在视频播放时，视频画面内显示当前播放时间的传感器数据，工作人员可以根据视频和传感器数据进行分析，从而确定自动驾驶系统的具体问题是什么。

在本发明的另一个示例中，在一次自动驾驶完成后，驾驶员向工作人员反馈了一些自动驾驶过程中的情况，例如自动驾驶的过程中压了一个小石子，并向工作人员提供大概时间段。工作人员可以根据驾驶员反馈的大概时间段选择视频的起始时间和终止时间，然后观看视频检查压石子是否为雷达没有检测到石子，或者是其他问题导致的。工作人员观看视频后可以分析，然后给出自己的结论。

本发明实施例提供的自动驾驶系统的数据处理方法，将视频图像数据通过h264编码格式与传感器数据进行融合存储，在需要进行对自动驾驶系统分析数据信息时，播放视频的同时可以显示传感器数据，无需通过对数据库进行查询，操作简单，效率高。

图3为本发明实施例的自动驾驶系统的数据处理装置的结构框图。如图3所示，本发明实施例的自动驾驶系统的数据处理装置，包括：获取模块100、存储模块200和控制处理模块300。

其中，获取模块100用于获取当前时刻的视频图像数据和传感器数据。控制处理模块300用于在当前时刻的视频图像数据的编码格式不是h264格式时，将当前时刻的视频图像数据转换为h264格式的视频图像数据，并将h264格式的视频图像数据和传感器数据通过存储模块200进行融合存储。

在本发明的一个实施例中，控制处理模块300用于在h264格式的视频图像数据的视频帧后增加一个NALU的存储单元。控制处理模块300还用于通过存储模块将传感器数据存储在NALU类型的存储单元中。

在本发明的一个实施例中，所述传感器数据包括车速、位置信息、油耗、油量、发动机转速、档位和转向角度、水温、胎压、电瓶信息、车灯使用情况和转向信息中的至少一种。

在本发明的一个实施例中，自动驾驶系统的数据处理装置还包括显示模块。其中，获取模块100还用于接收视频图像播放指令。控制处理模块300还用于根据视频图像播放指令提取视频播放时间。获取模块100还用于获取视频播放时间对应的视频图像数据和传感器数据。显示模块用于根据视频图像数据进行显示，并在显示画面中显示当前播放时间的传感器数据。

需要说明的是，本发明实施例的自动驾驶系统的数据处理装置的具体实施方式与本发明实施例的自动驾驶系统的数据处理方法的具体实施方式类似，具体参见自动驾驶系统的数据处理方法部分的描述，为了减少冗余，不做赘述。

另外，本发明实施例的自动驾驶系统的数据处理装置的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

本发明实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如第一方面所述的自动驾驶系统的数据处理方法。

本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的自动驾驶系统的数据处理方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种自动驾驶系统的数据处理方法，其特征在于，包括：

获取当前时刻的视频图像数据和传感器数据；

如果所述当前时刻的视频图像数据的编码格式不是h264格式，则将所述当前时刻的视频图像数据转换为h264格式的视频图像数据；

将所述h264格式的视频图像数据和所述传感器数据进行融合存储。

2.根据权利要求1所述的自动驾驶系统的数据处理方法，其特征在于，将所述h264格式的视频图像数据和所述传感器数据进行融合存储，包括：

在所述h264格式的视频图像数据的视频帧后增加一个NALU的存储单元；

将所述传感器数据存储在所述存储单元中。

3.根据权利要求1或2所述的自动驾驶系统的数据处理方法，其特征在于，所述传感器数据包括车速、位置信息、油耗、油量、发动机转速、档位和转向角度、水温、胎压、电瓶信息、车灯使用情况和转向信息中的至少一种。

4.根据权利要求1所述的自动驾驶系统的数据处理方法，其特征在于，在将所述h264格式的视频图像数据和所述传感器数据进行融合存储之后，还包括：

接收视频图像播放指令；

根据所述视频图像播放指令提取视频播放时间；

获取所述视频播放时间对应的视频图像数据和传感器数据；

根据所述视频图像数据进行显示，并在显示画面中显示当前播放时间的传感器数据。

5.一种自动驾驶系统的数据处理装置，其特征在于，包括：

获取模块，用于获取当前时刻的视频图像数据和传感器数据；

存储模块；

控制处理模块，用于在所述当前时刻的视频图像数据的编码格式不是h264格式时，将所述当前时刻的视频图像数据转换为h264格式的视频图像数据，并将h264格式的视频图像数据和所述传感器数据通过所述存储模块进行融合存储。

6.根据权利要求5所述的自动驾驶系统的数据处理装置，其特征在于，所述控制处理模块用于在所述h264格式的视频图像数据的视频帧后增加一个NALU的存储单元；所述控制处理模块还用于通过所述存储模块将所述传感器数据存储在所述存储单元中。

7.根据权利要求5或6所述的自动驾驶系统的数据处理装置，其特征在于，所述传感器数据包括车速、位置信息、油耗、油量、发动机转速、档位和转向角度、水温、胎压、电瓶信息、车灯使用情况和转向信息中的至少一种。

8.根据权利要求5所述的自动驾驶系统的数据处理装置，其特征在于，还包括：

显示模块：

其中，所述获取模块还用于接收视频图像播放指令；所述控制处理模块还用于根据所述视频图像播放指令提取视频播放时间；所述获取模块还用于获取所述视频播放时间对应的视频图像数据和传感器数据；所述显示模块用于根据所述视频图像数据进行显示，并在显示画面中显示当前播放时间的传感器数据。

9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-4任一项所述的自动驾驶系统的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-4任一项所述的自动驾驶系统的数据处理方法。

Images