CN115408387A - 车辆自动驾驶识别数据回放方法、系统、设备及存储介质 - Google Patents

车辆自动驾驶识别数据回放方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115408387A
CN115408387A CN202211005897.8A CN202211005897A CN115408387A CN 115408387 A CN115408387 A CN 115408387A CN 202211005897 A CN202211005897 A CN 202211005897A CN 115408387 A CN115408387 A CN 115408387A
Authority
CN
China
Prior art keywords
data
identification
target
identification data
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211005897.8A
Other languages
English (en)
Inventor
胡升
任凡
王宽
丛伟伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202211005897.8A priority Critical patent/CN115408387A/zh
Publication of CN115408387A publication Critical patent/CN115408387A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供车辆自动驾驶识别数据回放方法、系统、设备及存储介质，通过将历史数据分类存储在数据库中；从数据库中获取至少两种历史数据，对至少两种历史数据进行融合，获得目标识别数据；然后将多种历史数据、目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。本发明通过获取历史数据，并根据历史数据的融合结果还原车辆在行驶时的识别目标数据，然后对识别目标数据进行可视化展示，从而帮助研发人员获取车辆在行驶过程中的识别数据，以帮助研发人员对辅助驾驶算法进行改进。

Description

车辆自动驾驶识别数据回放方法、系统、设备及存储介质
技术领域
本申请涉及汽车辅助驾驶技术领域，具体涉及车辆自动驾驶识别数据回放方法、系统、设备及存储介质。
背景技术
随着汽车工业技术的发展，越来越多的汽车都配备了辅助驾驶功能。现有的辅助驾驶功能需要依赖对道路目标进行识别，例如车道线、前方车辆等。现有的智能驾驶系统通过摄像头、激光雷达等传感器对道路目标进行识别，获得识别结果，然后辅助驾驶算法根据识别结果控制车辆，完成辅助驾驶。但是辅助驾驶算法需要不断地进行完善，对辅助驾驶进行完善需要依赖大量的道路识别数据。但是现有技术中没有一种能够对车辆辅助驾驶时产生的识别数据进行回溯的技术。
发明内容
鉴于以上所述现有技术的缺点，本发明提供车辆自动驾驶识别数据回放方法、系统、设备及存储介质，以解决上述技术问题。
本发明提供的一种车辆自动驾驶识别数据回放方法，所述方法包括：
获取车辆的多种历史数据，所述多种历史数据通过预设在车辆内部的多种传感器采集；
将所述历史数据分类存储在数据库中；
从所述数据库中获取至少两种历史数据，对所述至少两种历史数据进行识别，获得至少两种识别数据；
对所述至少两种识别数据进行融合，获得目标识别数据；
将所述多种历史数据、所述目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。
在本发明一实施例中，将所述传感器数据分类存储在数据库中，包括：
获取多种传感器的身份信息，所述传感器的身份信息与所述历史数据一一对应；
对所述多种历史数据进行序列化处理，获得多种序列化数据；
根据所述传感器的身份信息对所述序列化数据进行分类；
将分类后的序列化数据存储至数据库中。
在本发明一实施例中，从所述数据库中获取至少两种历史数据，包括：
从所述数据库中获取至少两种序列化数据；
对所述至少两种序列化数据进行反序列化处理，获得至少两种历史数据。
在本发明一实施例中，对所述至少两种识别数据进行融合，获得目标识别数据，包括：
获取所述至少两种识别数据中每一种识别数据的时间戳；
根据时间戳对所述至少两种识别数据中处于相同时间点的识别数据进行融合，获得所述目标识别数据。
在本发明一实施例中，所述至少两种历史数据中包括视频数据，所述至少两种识别数据包括对所述视频数据进行识别得到的图像识别数据；
将时间同步后的所有识别数据进行融合，获得所述目标识别数据，包括：
获取所述视频数据中的图像识别数据的识别目标、所述至少两种识别数据中除图像识别数据以外的其他识别数据的识别目标；
以所述图像识别数据中的识别目标作为基点划定范围，得到关联范围；
其他识别数据中的识别目标位于所述关联范围内时，判定所述图像识别数据中的识别目标与其他历史数据中的识别目标关联；
将所述视频数据中多帧图像的图像识别数据的识别目标与所述其他识别数据的识别目标进行关联，当多帧图像识别数据的识别目标均与其他识别数据中的识别目标关联时，以所述图像识别数据中的识别目标的参数、其他识别数据中的识别目标的参数构建所述目标识别数据。
在本发明一实施例中，以所述图像识别数据中的识别目标的参数、其他识别数据中的识别目标的参数构建所述目标识别数据之前，还包括：
对所述图像识别数据中的识别目标的参数、其他历史数据中的识别目标的参数进行滤波。
在本发明一实施例中，将所述多种历史数据、所述目标识别数据进行可视化展示，包括：
将所述多种历史数据、所述目标识别数据放置在时间轴上；
响应于外部的输入的时间点信息，将与所述时间点信息对应的多种历史数据、目标识别数据输出展示；
将所述时间轴上的所述多种历史数据、所述目标识别数据进行逐帧输出展示。
本发明还提供一种车辆自动驾驶识别数据回放系统，所述系统包括：
采集模块，用于获取车辆的多种历史数据，所述多种历史数据通过预设在车辆内部的多种传感器采集；
存储模块，用于将所述历史数据分类存储在数据库中；
识别模块，用于从所述数据库中获取至少两种历史数据，对所述至少两种历史数据进行识别，获得至少两种识别数据；
融合模块，用于对所述至少两种目标识别数据进行融合，获得目标识别数据；
回放模块，用于将所述多种历史数据、所述目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。
本发明还提供一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的车辆自动驾驶识别数据回放方法。
本发明还提供一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的车辆自动驾驶识别数据回放方法。
本发明的有益效果：本发明中的车辆自动驾驶识别数据回放方法、系统、设备及存储介质，通过将历史数据分类存储在数据库中；从数据库中获取至少两种历史数据，对至少两种历史数据进行融合，获得目标识别数据；然后将多种历史数据、目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。本发明通过获取历史数据，并根据历史数据的融合结果还原车辆在行驶时的识别目标数据，然后对识别目标数据进行可视化展示，从而帮助研发人员获取车辆在行驶过程中的识别数据，以帮助研发人员对辅助驾驶算法进行改进。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请的一示例性实施例示出的车辆自动驾驶识别数据回放方法的应用场景图；
图2是本申请的一示例性实施例示出的车辆自动驾驶识别数据回放方法的流程图；
图3是图2所示实施例中的步骤S220在一示例性的实施例中的流程图；
图4是图2所示实施例中的步骤S230在一示例性的实施例中的流程图；
图5是图2所示实施例中的步骤S240在一示例性的实施例中的流程图；
图6是图5所示实施例中的步骤S530在一示例性的实施例中的流程图；
图7是图6所示实施例中的步骤S640之前的在一示例性的实施例中的流程图；
图8是图2所示实施例中的步骤S250在一示例性的实施例中的流程图；
图9是本申请的一示例性实施例示出的车辆自动驾驶识别数据回放系统的框图；
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
图1是本申请的一示例性实施例示出的车辆自动驾驶识别数据回放方法的应用场景图，在图1中，车机系统通过互联网将汽车在行驶过程中的历史数据上传至服务器中，服务器对历史数据进行分类存储；数据处理设备从服务器中获取历史数据，对历史识别数据进行融合，生成目标识别数据，然后将历史数据、目标识别数据输出至显示设备中进行可视化展示。
其中，图1所示的数据处理设备110可以是智能手机、车载电脑、平板电脑、笔记本电脑或者可穿戴设备等任意支持数据运算处理的终端设备，但并不限于此。图1所示的服务器120是汽车导航服务器，例如可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，在此也不进行限制。数据处理设备110可以通过3G(第三代的移动信息技术)、4G(第四代的移动信息技术)、5G(第五代的移动信息技术)等无线网络与服务器120进行通信，本处也不对此进行限制。
如图2所示，在一示例性的实施例中，车辆自动驾驶识别数据回放方法至少包括步骤S210至步骤S240，详细介绍如下：
S210.获取车辆的多种历史数据，多种历史数据通过预设在车辆内部的多种传感器采集；
在本实施例中，车辆在执行辅助驾驶功能的行驶过程中，多种传感器采集历史数据，例如目标车辆、点云数据、车道线；本实施例中，并通过socket通信协议获取多种传感器的数据；
S220.将历史数据分类存储在数据库中；
在步骤S220中，将历史数据存储在数据库中，便于后续对历史数据进行处理；
S230.从数据库中获取至少两种历史数据，对至少两种历史数据进行识别，获得至少两种识别数据；
在步骤S230中，当车辆中设置多种传感器，通过多种传感器获得的数据进行辅助驾驶时，会对数据进行识别，因此在本实施例中，需要对至少两种历史数据进行识别，以模拟车辆在辅助驾驶时的识别数据；
S240.对至少两种识别数据进行融合，获得目标识别数据；
在步骤S240中，由于需要对车辆中的多种历史数据进行识别，产生多种识别数据，多种识别数据之间可能会存在差异。因此为了模拟车辆在行驶过程中对目标的识别结果，需要对多种识别数据进行融合。
S250.将多种历史数据、目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。
本实施例中，通过对多种历史数据、目标识别数据进行可视化展示，帮助研发人员直观地展示数据，可以帮助研发人员更加直观地检测自动驾驶算法开发中的关联融合、目标匹配是否合理。
如图3所示，在本发明一实施例中，将传感器数据分类存储在数据库中的过程会少包括步骤S310至步骤S340，详细介绍如下：
S310.获取多种传感器的身份信息，传感器的身份信息与历史数据一一对应；
在本实施例中，车辆传感器的常见种类包括前摄像头、前雷达、角雷达等；通过传感器的身份信息(如物理ID)，可以对历史数据的归属传感器进行确定；
S320.对多种历史数据进行序列化处理，获得多种序列化数据；
在步骤S320中，通过预设的序列化函数将多种历史数据转换为protobuf格式的序列数据，Protobuf是Google推出的数据存储和通信工具，支持多种编程语言，比较适合数据量大、开发过程中数据结构变动频繁的开发工作。采用protobuf定义传感器数据结构，能够极大提高算法开发效率。同时对于多传感器数据，因为其数据量庞大，普通传输方式延迟较高，在此我们采用ZMQ来处理数据传输，ZMQ的显著特点是传输效率极高，能够应对多传感器自动驾驶的数据传输效率低等问题，这样一来无论是传感器数据发送、接收还是数据存储问题，都能够在降低自动驾驶系统延迟的同时，更好的实现在线实时数据可视化功能。
S330.根据传感器的身份信息对序列化数据进行分类；
在步骤S330中，通过传感器的身份信息(如物理ID)，对历史数据的归属传感器进行确定；
S340.将分类后的序列化数据存储至数据库中。
在本实施例中，分类后的序列化数据存储在数据库中，便于后续对数据进行查找、处理和分析。
如图4所示，在本发明一实施例中，从数据库中获取至少两种历史数据的过程可以包括步骤S410至步骤S420，详细介绍如下：
S410.从数据库中获取至少两种序列化数据；
在步骤S410中，至少两种序列化数据，是指两种不同传感器获得历史数据转换得到的序列化数据；
S420.对至少两种序列化数据进行反序列化处理，获得至少两种历史数据。
在本实施例中，通过对序列化数据进行反序列处理，即可将序列化数据还原为历史数据。
如图5所示，在本发明一实施例中，对至少两种历史数据进行融合，获得目标识别数据的过程可以包括步骤S510至步骤S530，详细介绍如下：
S510.获取至少两种历史数据中每一种历史数据的时间戳；
在本实施例中，时间戳是使用数字签名技术产生的数据，传感器在获取历史数据时，会在历史数据中加入一个时间戳，因此通过获取历史数据的时间戳可以得到历史数据的获取时间；
S520.根据时间戳对所述至少两种识别数据中处于相同时间点的识别数据进行融合，获得所述目标识别数据。
在步骤S520中，将至少两种历史数据中的每一个历史数据进行时间同步后，便可以得到车辆行驶在某一时刻时各种传感器的数据获取情况、通过传感器数据对道路的识别情况，通过对多个识别数据进行融合，可以还原车辆中的辅助驾驶算法获得的识别结果(目标识别数据)。
在本发明一实施例中，至少两种历史数据中包括视频数据，至少两种识别数据包括对视频数据进行识别得到的图像识别数据；
如图6所示，将时间同步后的每一个识别数据进行融合，获得目标识别数据的过程可以包括步骤S610至步骤S640，详细介绍如下：
S610.获取视频数据中的图像识别数据的识别目标、至少两种识别数据中除图像识别数据以外的其他识别数据的识别目标。
在本实施例中，图像识别数据中的识别目标可以为：前方车辆、车道线、交通标识等可以用于辅助驾驶的目标，其他识别数据(如基于激光雷达产生的历史数据的识别数据)可以为：前方车辆、侧方车辆等；
S620.以图像识别数据中的识别目标作为基点划定范围，得到关联范围；
在本实施例中，以图像识别数据中的识别目标作为基点先建立坐标系，然后以坐标系的基点划定范围(可以为一个圆)，利用该范围来对其他识别数据的识别目标进行关联；
S630.其他识别数据中的识别目标位于关联范围内时，判定图像识别数据中的识别目标与其他历史数据中的识别目标关联；
在本实施例中，具体地，在多个识别数据的识别结果一致，且多个识别目标均位于关联范围内时，说明多个识别结果的位置基本一致，多个识别数据中的识别目标为同一个目标；
S640.将视频数据中多帧图像的图像识别数据的识别目标与其他识别数据的识别目标进行关联，当多帧图像识别数据的识别目标均与其他识别数据中的识别目标关联时，以图像识别数据中的识别目标的参数、其他识别数据中的识别目标的参数构建目标识别数据。
在本实施例中，如果能够连续20帧关联，判定识别目标的准确的，从而可以进行融合，将多种识别数据进行融合，得到最终的目标识别数据。
如图7所示，在本发明一实施例中，以图像识别数据中的识别目标的参数、其他历史数据中的识别目标的参数构建目标识别数据之前的过程还可以包括步骤S710，详细介绍如下：
S710.对图像识别数据中的识别目标的参数、其他历史数据中的识别目标的参数进行滤波。
在本实施例中，使用卡尔曼滤波对识别目标的参数进行滤波，如对图像识别数据中的横纵向距离、长宽、heading等参数进行滤波。
如图8所示，在本发明一实施例中，将多种历史数据、目标识别数据进行可视化展示的过程可以包括步骤S810至步骤S830，详细介绍如下：
S810.将多种历史数据、目标识别数据放置在时间轴上；
在本实施例中，将多种历史数据、目标识别数据放置在时间轴上，便于根据时间顺序获取多种历史数据、目标识别数据；
S820.响应于外部的输入的时间点信息，将与时间点信息对应的多种历史数据、目标识别数据输出展示；
在步骤S820中，通过选择时间点进行信息查看，实现沿时间轴的数据回放拖拽功能。
S830.将时间轴上的多种历史数据、目标识别数据进行逐帧输出展示。
在步骤S830中，通过将时间轴上的多种历史数据、目标识别数据进行逐帧输出展示，从而实现各个传感器单帧和逐帧数据显示，这样可以极大的提高自动驾驶融合算法的开发效率，并能够为关联融合提供一个非常有用的数据可视化展示功能。
本发明中的车辆自动驾驶识别数据回放方法，通过将历史数据分类存储在数据库中；从数据库中获取至少两种历史数据，对至少两种历史数据进行融合，获得目标识别数据；然后将多种历史数据、目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。本发明通过获取历史数据，并根据历史数据的融合结果还原车辆在行驶时的识别目标数据，然后对识别目标数据进行可视化展示，从而帮助研发人员获取车辆在行驶过程中的识别数据，以帮助研发人员对辅助驾驶算法进行改进。
如图9所示，本发明还提供车辆自动驾驶识别数据回放系统，系统包括：
采集模块，用于获取车辆的多种历史数据，所述多种历史数据通过预设在车辆内部的多种传感器采集；
存储模块，用于将所述历史数据分类存储在数据库中；
识别模块，用于从所述数据库中获取至少两种历史数据，对所述至少两种历史数据进行识别，获得至少两种识别数据；
融合模块，用于对所述至少两种目标识别数据进行融合，获得目标识别数据；
回放模块，用于将所述多种历史数据、所述目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。
本发明中的车辆自动驾驶识别数据回放系统，通过将历史数据分类存储在数据库中；从数据库中获取至少两种历史数据，对至少两种历史数据进行融合，获得目标识别数据；然后将多种历史数据、目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。本发明通过获取历史数据，并根据历史数据的融合结果还原车辆在行驶时的识别目标数据，然后对识别目标数据进行可视化展示，从而帮助研发人员获取车辆在行驶过程中的识别数据，以帮助研发人员对辅助驾驶算法进行改进。
需要说明的是，上述实施例所提供的车辆自动驾驶识别数据回放系统与上述实施例所提供的车辆自动驾驶识别数据回放方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的车辆自动驾驶识别数据回放系统在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的车辆自动驾驶识别数据回放方法。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的车辆自动驾驶识别数据回放方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的车辆自动驾驶识别数据回放方法。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.车辆自动驾驶识别数据回放方法，其特征在于，所述方法包括：
获取车辆的多种历史数据，所述多种历史数据通过预设在车辆内部的多种传感器采集；
将所述历史数据分类存储在数据库中；
从所述数据库中获取至少两种历史数据，对所述至少两种历史数据进行识别，获得至少两种识别数据；
对所述至少两种识别数据进行融合，获得目标识别数据；
将所述多种历史数据、所述目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。
2.根据权利要求1所述的车辆自动驾驶识别数据回放方法，其特征在于，将所述传感器数据分类存储在数据库中，包括：
获取多种传感器的身份信息，所述传感器的身份信息与所述历史数据一一对应；
对所述多种历史数据进行序列化处理，获得多种序列化数据；
根据所述传感器的身份信息对所述序列化数据进行分类；
将分类后的序列化数据存储至数据库中。
3.根据权利要求2所述的车辆自动驾驶识别数据回放方法，其特征在于，从所述数据库中获取至少两种历史数据，包括：
从所述数据库中获取至少两种序列化数据；
对所述至少两种序列化数据进行反序列化处理，获得至少两种历史数据。
4.根据权利要求1所述的车辆自动驾驶识别数据回放方法，其特征在于，对所述至少两种识别数据进行融合，获得目标识别数据，包括：
获取所述至少两种识别数据中每一种识别数据的时间戳；
根据时间戳对所述至少两种识别数据中处于相同时间点的识别数据进行融合，获得所述目标识别数据。
5.根据权利要求4所述的车辆自动驾驶识别数据回放方法，其特征在于，所述至少两种历史数据中包括视频数据，所述至少两种识别数据包括对所述视频数据进行识别得到的图像识别数据；
将时间同步后的所有识别数据进行融合，获得所述目标识别数据，包括：
获取所述视频数据中的图像识别数据的识别目标、所述至少两种识别数据中除图像识别数据以外的其他识别数据的识别目标；
以所述图像识别数据中的识别目标作为基点划定范围，得到关联范围；
其他识别数据中的识别目标位于所述关联范围内时，判定所述图像识别数据中的识别目标与其他历史数据中的识别目标关联；
将所述视频数据中多帧图像的图像识别数据的识别目标与所述其他识别数据的识别目标进行关联，当多帧图像识别数据的识别目标均与其他识别数据中的识别目标关联时，以所述图像识别数据中的识别目标的参数、其他识别数据中的识别目标的参数构建所述目标识别数据。
6.根据权利要求5所述的车辆自动驾驶识别数据回放方法，其特征在于，以所述图像识别数据中的识别目标的参数、其他识别数据中的识别目标的参数构建所述目标识别数据之前，还包括：
对所述图像识别数据中的识别目标的参数、其他历史数据中的识别目标的参数进行滤波。
7.根据权利要求1所述的车辆自动驾驶识别数据回放方法，其特征在于，将所述多种历史数据、所述目标识别数据进行可视化展示，包括：
将所述多种历史数据、所述目标识别数据放置在时间轴上；
响应于外部的输入的时间点信息，将与所述时间点信息对应的多种历史数据、目标识别数据输出展示；
将所述时间轴上的所述多种历史数据、所述目标识别数据进行逐帧输出展示。
8.车辆自动驾驶识别数据回放系统，其特征在于，所述系统包括：
采集模块，用于获取车辆的多种历史数据，所述多种历史数据通过预设在车辆内部的多种传感器采集；
存储模块，用于将所述历史数据分类存储在数据库中；
识别模块，用于从所述数据库中获取至少两种历史数据，对所述至少两种历史数据进行识别，获得至少两种识别数据；
融合模块，用于对所述至少两种目标识别数据进行融合，获得目标识别数据；
回放模块，用于将所述多种历史数据、所述目标识别数据进行可视化展示，完成车辆自动驾驶的识别数据回放。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的车辆自动驾驶识别数据回放方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的车辆自动驾驶识别数据回放方法。
CN202211005897.8A 2022-08-22 2022-08-22 车辆自动驾驶识别数据回放方法、系统、设备及存储介质 Pending CN115408387A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211005897.8A CN115408387A (zh) 2022-08-22 2022-08-22 车辆自动驾驶识别数据回放方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211005897.8A CN115408387A (zh) 2022-08-22 2022-08-22 车辆自动驾驶识别数据回放方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115408387A true CN115408387A (zh) 2022-11-29

Family

ID=84160707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211005897.8A Pending CN115408387A (zh) 2022-08-22 2022-08-22 车辆自动驾驶识别数据回放方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115408387A (zh)

Similar Documents

Publication Publication Date Title
CN111784774B (zh) 目标检测方法、装置、计算机可读介质及电子设备
CN111694903A (zh) 地图构建方法、装置、设备以及可读存储介质
CN112432650B (zh) 高精地图数据的获取方法、车辆控制方法以及设备
CN111986214B (zh) 一种地图中人行横道的构建方法和电子设备
CN111563398A (zh) 用于确定目标物的信息的方法和装置
CN115164918A (zh) 语义点云地图构建方法、装置及电子设备
CN113269168B (zh) 障碍物数据处理方法、装置、电子设备和计算机可读介质
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN116309943B (zh) 一种停车场语义地图路网构建方法、装置及电子设备
CN110377776B (zh) 生成点云数据的方法和装置
CN115061386B (zh) 智能驾驶的自动化仿真测试系统及相关设备
CN112987707A (zh) 一种车辆的自动驾驶控制方法及装置
CN111383337B (zh) 用于识别对象的方法和装置
CN115408387A (zh) 车辆自动驾驶识别数据回放方法、系统、设备及存储介质
CN115578716A (zh) 一种车载数据的处理方法、装置、设备及介质
CN112859109B (zh) 无人机全景图像处理方法、装置及电子设备
CN116188587A (zh) 定位方法、装置及车辆
CN113299058B (zh) 交通事故责任的认定方法、装置、介质以及电子设备
CN116958915B (zh) 目标检测方法、装置、电子设备及存储介质
CN111461982B (zh) 用于拼接点云的方法和装置
CN116168366B (zh) 点云数据生成方法、模型训练方法、目标检测方法和装置
CN114166231A (zh) 众包数据采集方法、装置、设备、存储介质以及程序产品
CN118062016B (zh) 车辆环境感知方法、设备和存储介质
CN114756565B (zh) 地图更新方法、装置、电子设备和计算机可读介质
CN115453567A (zh) 一种障碍物检测方法、装置、设备、介质及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination