CN110562170B - 一种无人车3d场景显示数据记录与模块调试系统及方法 - Google Patents

一种无人车3d场景显示数据记录与模块调试系统及方法 Download PDF

Info

Publication number
CN110562170B
CN110562170B CN201910919379.9A CN201910919379A CN110562170B CN 110562170 B CN110562170 B CN 110562170B CN 201910919379 A CN201910919379 A CN 201910919379A CN 110562170 B CN110562170 B CN 110562170B
Authority
CN
China
Prior art keywords
vehicle
module
data
debugging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910919379.9A
Other languages
English (en)
Other versions
CN110562170A (zh
Inventor
岳靖斐
付行
高锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Heavy Duty Automobile Co Ltd
Original Assignee
Shaanxi Heavy Duty Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Heavy Duty Automobile Co Ltd filed Critical Shaanxi Heavy Duty Automobile Co Ltd
Priority to CN201910919379.9A priority Critical patent/CN110562170B/zh
Publication of CN110562170A publication Critical patent/CN110562170A/zh
Application granted granted Critical
Publication of CN110562170B publication Critical patent/CN110562170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Abstract

本发明公开了一种无人车3D场景显示数据记录与模块调试系统及方法，该系统包括数据处理单元、3D场景显示单元、状态检测单元、开关控制单元和数据记录单元；通过数据处理单元将数据从无人车控制系统中提取并转换后，各个单元依托于转后的数据进行相关内容的操作，方便操作人员通过3D场景显示单元观察无人车的行驶状态，发现异常时或在建立系统过程中能够通过开关控制单元和状态检测单元进行检测和调试，简化了繁琐的调试过程。数据记录单元将数据调试过程及无人车行驶过程的数据记录下来，方便实验人员随时回看相关内容。本发明可以更加方便在调试过程中解决问题和寻找最优方案，大大缩短产品的开发和调试周期，节省研发时间，降低研发成本，提高产品的开发效率。

Description

一种无人车3D场景显示数据记录与模块调试系统及方法
【技术领域】
本发明属于汽车产品研发领域，尤其是一种无人车3D场景显示数据记录与模块调试系统及方法。
【背景技术】
随着汽车智能化的推进，汽车控制技术的不断发展，汽车无人驾驶技术也越来越纯熟。但是在无人车开发过程中由于模块复杂，所以调试过程也比较繁琐，经常需要进行单模块或者多模块调试，大大降低了开发速度和效率，加之在无人车调试过程中开发者只能单纯的从数据分析无人车行驶状态，传感器采集的数据信息，规划轨迹，预测算法以及控制算法的优劣，很容易造成细节上忽略，从而导致不可挽回的过失，而且当实验完成后对本次实验的总结也没有完整的数据记录作为查找问题的依据，造成问题总结不到位，为以后的实验埋下隐患。因此为了避免以上的问题出现，就需要设计一个系统对调试过程进行辅助，从而解决整个调试过程中调试繁琐，数据不直观等问题。
【发明内容】
本发明的目的在于克服上述现有技术的缺点，提供一种无人车3D场景显示数据记录与模块调试系统及方法，用于解决现有的无人车行驶过程中数据记录不及时，数据不直观，调试繁琐的问题。
为达到上述目的，本发明采用以下技术方案予以实现：
一种无人车3D场景显示数据记录与模块调试系统，包括数据处理单元、3D场景显示单元、状态检测单元、开关控制单元和数据记录单元；
数据处理单元，用于接收数据，通过其内部的各个模块将接收到的数据类型转换为各个单元能够识别并应用的数据类型，将转换后的数据存放到各个容器中；
3D场景显示单元，用于从容器中提取需要的数据，通过软件建立并显示车辆行驶环境、车辆行驶状态；
开关控制单元，用于控制数据处理单元中各个模块的开启与关闭；
状态检测单元，用于检测并调试开关控制单元开启的模块；
数据记录单元，用于记录数据处理单元中各个模块转换后的数据，以及检测和调试过程中的各个数据和视频。
本发明的进一步改进在于：
优选的，所述数据处理单元包括车辆定位模块、车辆感知模块、车辆预测模块、车辆规划模块、车辆控制模块、车辆通信模块和数据传输模块；
车辆定位模块、车辆感知模块、车辆预测模块、车辆规划模块、车辆控制模块和车辆通信模块分别将各自接收、转换后的数据通过message发布到数据传输模块中，并分别存放在数据处理单元中的若干个容器中存储，一个类型的数据存储在一个容器中。
优选的，所述车辆定位模块用于接收并转换车辆惯导采集的信息，车辆感知模块用于接收并转换雷达和摄像头采集的信息，车辆预测模块用于接收并转换车辆行驶过程中障碍物的信息，车辆规划模块用于接收并转换车辆规划的信息，车辆控制模块用于接收并转换车辆自身的油门、刹车和方向盘转角信息，车辆通信模块用于接收并转换车辆Can总线信息。
优选的，数据记录单元中，保存和记录的数据以txt的形式存储在指定的系统文件夹中。
优选的，所述软件程序包括QT Creator，OpenGL和ROS。
优选的，所述车辆行驶环境包括车辆模型、道路场景、车辆行驶的参考轨迹、车道线、障碍物和信号灯。
优选的，所述3D场景显示单元还用于显示数据记录模块记录的数据和视频，以及各类消息。
一种上述系统的无人机3D场景显示数据记录与模块调试方法，包括以下过程：
接收并转换车辆行驶过程中的各个数据，将转换后的数据分别存储在各个容器中；
通过软件建立并显示车辆行驶环境和车辆行驶状态；
开启数据处理单元中待检测的模块，检测开启模块的状态，查看状态是否正常；如果不正常，重新检查并检测各模块；如果正常，进行已开启模块的调试；数据处理模块中的每一个模块均通过检测和调试；
记录车辆行驶状态数据和检测调试数据。
优选的，在接收并转换车辆行驶过程中的各个数据前，统一数据处理单元中的各模块通信接口。
优选的，各模块通信接口满足ROS的通信机制，模块之间传递的数据在message中声明，在CMakeLists中注册，在系统的include中包含。
与现有技术相比，本发明具有以下有益效果：
本发明公开了一种无人车3D场景显示数据记录与模块调试系统，该系统包括数据处理单元、3D场景显示单元、状态检测单元、开关控制单元和数据记录单元；通过数据处理单元将数据从无人车控制系统中提取并转换后，各个单元依托于转换后的数据进行相关内容的操作，方便操作人员通过3D场景显示单元观察无人车的行驶状态，发现异常时或在建立系统过程中能够通过开关控制单元和状态检测单元进行检测和调试；无人车开发者可以使用本系统对无人车控制系统中各个模块进行开关控制，便于对单模块或者多模块的调试管理，简化了繁琐的调试过程。数据记录单元将数据调试过程及无人车行驶过程的数据记录下来，方便实验人员随时回看相关内容。本发明可以更加方便在调试过程中解决问题和寻找最优方案，大大缩短产品的开发和调试周期，节省研发时间，降低研发成本，提高产品的开发效率。
本发明还公开了一种无人车3D场景显示数据记录与模块调试方法，该方法在统一数据处理单元中各个模块通信接口的基础上，检测并调试各个模块；该方法方便实验人员在调试过程中及时发现问题，以及时解决问题，同时记录汽车行驶数据、检测和调试数据，便于实验人员调出数据并回放数据和视频。
【附图说明】
图1为本发明的系统组成图；
图2为本发明中各个单元之间的关系图；
图3为本发明的逻辑流程控制图。
【具体实施方式】
下面结合附图和具体实施例对本发明做进一步详细描述。
参见图1和图2，本发明公开了一种无人车3D场景显示数据记录与模块调试系统及方法，该系统包括数据处理单元、3D场景显示单元、状态检测单元、开关控制单元和数据记录单元；所述数据处理单元包括车辆定位模块、车辆感知模块、车辆预测模块、车辆规划模块、车辆控制模块、车辆通信模块和数据传输模块，所述数据传输模块是将数据处理单元中其他模块处理后的数据通过message发布，订阅，数据处理模块将其他模块发布的信息根据不同的数据类型存放于数据处理单元中不同的容器(Vector)中，方便后续的数据使用和记录。
所述数据处理单元用于将车辆行驶过程中的各个数据类型转换为该系统能够识别并应用的数据类型，发布、订阅并存储至其内部不同Vector中；其中车辆定位模块用于采集并转换将惯导采集的信息，车辆感知模块是用于采集并转换激光雷达、摄像头和毫米波雷达采集回来的信息，车辆预测模块用于预测车辆行驶过程中障碍物的信息或者是其他车辆的行驶路径信息，车辆规划模块是将通过分析车辆预测模块反应出的路况信息后得出的规划轨迹信息进行转换处理，车辆控制模块是采集并转换车辆控制信息，车辆控制信息包括油门、刹车和方向盘转角；车辆通信模块是将采集并转换车辆的Can总线信息；数据处理模块将上述转换后的信息存储在数据订阅模块的不同Vector中，便于其他单元的使用。
3D场景显示单元通过QT Creator，OpenGL和ROS环境进行开发的，所述3D场景显示单元用于实现车辆行驶环境的3D虚拟显示，该单元从数据处理模块中的多个Vector中获得车辆定位模块、车辆感知模块、车辆预测模块、车辆规划模块、车辆控制模块和车辆通信模块的数据进行信息场景化显示；具体来说，通过QT Creator，OpenGL和ROS三个软件首先构建车辆自身参数尺寸，通过车辆感知模块获得的上述车辆感知信息构建道路场景和车道线，通过车辆定位模块和车辆规划模块构建车辆行驶过程中的参考轨迹，通过车辆感知模块和车辆预测模块获得的信息构建车辆行驶过程中存在的障碍物，通过车辆感知模块获得的信息构建车辆行驶过程中的信号灯，通过车辆控制模块和车辆通信模块构建车辆状态的相关参数；上述构建的各类信息场景化显示通过3D场景显示窗口显示，相对应的3D场景显示窗口能够显示车辆模型，道路场景，车辆行驶过程中的参考轨迹，车道线，障碍物，信号灯，车辆运行的状态；
除了上述的车辆行驶过程中信息模块化显示，3D场景显示模块还用于车辆数据记录与回放，车辆通信捕获以及消息接收显示，具体来说，当实验人员需要回放或调用车辆行驶的画面或数据时，从数据记录模块调出相关内容，在3D场景显示模块中显示，车辆通信捕获为获得的车辆行驶过程中的各类信息，车辆在行驶过程中，接收到的各类指令也通过3D场景显示。该模块能够更直观的观察在整个调试过程中无人车行驶状态，传感器采集的数据信息，规划轨迹，预测算法以及控制算法的优劣。
开关控制单元用于对数据处理单元中的各个模块进行打开或者关闭，状态检测单元，用于在开关控制单元窗口的弹出，来显示数据处理单元中每个模块的状态，通过每个模块的工作情况可以大致判断出系统调试过程中问题出现的模块。实际运行过程中，开关控制单元和状态检测单元为同时应用，首先通过开关控制单元控制一个或多个模块的开启，此时开启的模块会在3D场景显示单元中显示开启模块的相关数据，在运行系统时，打开的模块会将数据存储到指定容器中，然后工作人员通过状态检测单元对不同容器中的数据进行检测并调试，实现已开启的单模块或多模块的调试；整个检测调试过程需将数据处理单元中的所有模块进行检测并调试。
数据记录模块，用于记录调试过程中的各项数据和视频；数据记录模块可以分为各模块数据记录和视频记录，将障碍物信息，车辆信息，控制信息，规划信息，定位信息等以数据的形式储存为txt格式，将调试过程中的实时场景储存为视频格式，并将所有存储的信息保存至指定的系统文件夹中，可以方便在实验结束后对整个调试过程总结，并发现在调试中忽略的问题，同时也可以在后期改进时对前期版本进行回顾，避免之前的错误再次出现。
所有数据处理单元中的各个模块与该系统中其他单元的通信接口必须相同。
参见图3，本发明3D显示调试记录系统的使用过程为：
首先对数据处理单元中的各模块进行接口的统一，本发明所使用的通信接口需要满足ROS的通信机制，所传递的数据必须在message中声明，在CMakeLists中注册，在系统include中包含。
数据处理单元中的各个模块根据的自身需求发布和订阅各类信息并进行处理。
接口统一后，根据实验过程中采集回的数据信息，通过QT Creator，OpenGL软件利用c++代码，实现将实验过程中的实时场景、数据等信息在3D场景显示窗口进行实时显示，
接口统一之后，通过状态检测单元和开关控制单元进行各模块的状态检测，查看状态是否正常，如果不正常需要对各模块进行检查，重新检测，如果正常那么就可以进行单模块或者多模块调试，然后进行各模块的验证实验；
同时通过数据记录单元记录实验数据，最后可以选择回放视频和数据信息来总结这次实验的效果和问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种无人车3D场景显示数据记录与模块调试系统，其特征在于，包括数据处理单元、3D场景显示单元、状态检测单元、开关控制单元和数据记录单元；
数据处理单元，用于接收数据，通过其内部的各个模块将接收到的数据类型转换为各个单元能够识别并应用的数据类型，将转换后的数据存放到各个容器中；
3D场景显示单元，用于从容器中提取需要的数据，通过软件建立并显示车辆行驶环境、车辆行驶状态；
开关控制单元，用于控制数据处理单元中各个模块的开启与关闭；
状态检测单元，用于检测并调试开关控制单元开启的模块；
数据记录单元，用于记录数据处理单元中各个模块转换后的数据，以及检测和调试过程中的各个数据和视频；
所述数据处理单元包括车辆定位模块、车辆感知模块、车辆预测模块、车辆规划模块、车辆控制模块、车辆通信模块和数据传输模块；
车辆定位模块、车辆感知模块、车辆预测模块、车辆规划模块、车辆控制模块和车辆通信模块分别将各自接收、转换后的数据通过message发布到数据传输模块中，并分别存放在数据处理单元中的若干个容器中存储，一个类型的数据存储在一个容器中；
所述车辆定位模块用于接收并转换车辆惯导采集的信息，车辆感知模块用于接收并转换雷达和摄像头采集的信息，车辆预测模块用于接收并转换车辆行驶过程中障碍物的信息，车辆规划模块用于接收并转换车辆规划的信息，车辆控制模块用于接收并转换车辆自身的油门、刹车和方向盘转角信息，车辆通信模块用于接收并转换车辆Can总线信息。
2.根据权利要求1所述的一种无人车3D场景显示数据记录与模块调试系统，其特征在于，数据记录单元中，保存和记录的数据以txt的形式存储在指定的系统文件夹中。
3.根据权利要求1所述的一种无人车3D场景显示数据记录与模块调试系统，其特征在于，所述软件程序包括QT Creator，OpenGL和ROS。
4.根据权利要求1所述的一种无人车3D场景显示数据记录与模块调试系统，其特征在于，所述车辆行驶环境包括车辆模型、道路场景、车辆行驶的参考轨迹、车道线、障碍物和信号灯。
5.根据权利要求1所述的一种无人车3D场景显示数据记录与模块调试系统，其特征在于，所述3D场景显示单元还用于显示数据记录模块记录的数据和视频，以及各类消息。
6.一种基于权利要求1所述系统的无人机3D场景显示数据记录与模块调试方法，其特征在于，包括以下过程：
接收并转换车辆行驶过程中的各个数据，将转换后的数据分别存储在各个容器中；
通过软件建立并显示车辆行驶环境和车辆行驶状态；
开启数据处理单元中待检测的模块，检测开启模块的状态，查看状态是否正常；如果不正常，重新检查并检测各模块；如果正常，进行已开启模块的调试；数据处理模块中的每一个模块均通过检测和调试；
记录车辆行驶状态数据和检测调试数据。
7.根据权利要求6所述的一种无人车3D场景显示数据记录与模块调试方法，其特征在于，在接收并转换车辆行驶过程中的各个数据前，统一数据处理单元中的各模块通信接口。
8.根据权利要求7所述的一种无人车3D场景显示数据记录与模块调试方法，其特征在于，各模块通信接口满足ROS的通信机制，模块之间传递的数据在message中声明，在CMakeLists中注册，在系统的include中包含。
CN201910919379.9A 2019-09-26 2019-09-26 一种无人车3d场景显示数据记录与模块调试系统及方法 Active CN110562170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910919379.9A CN110562170B (zh) 2019-09-26 2019-09-26 一种无人车3d场景显示数据记录与模块调试系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910919379.9A CN110562170B (zh) 2019-09-26 2019-09-26 一种无人车3d场景显示数据记录与模块调试系统及方法

Publications (2)

Publication Number Publication Date
CN110562170A CN110562170A (zh) 2019-12-13
CN110562170B true CN110562170B (zh) 2020-12-01

Family

ID=68782751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910919379.9A Active CN110562170B (zh) 2019-09-26 2019-09-26 一种无人车3d场景显示数据记录与模块调试系统及方法

Country Status (1)

Country Link
CN (1) CN110562170B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111371862B (zh) * 2020-02-25 2022-08-23 北京百度网讯科技有限公司 无人车调试方法、装置、服务器和介质
CN111765904B (zh) * 2020-06-29 2023-12-15 北京百度网讯科技有限公司 自动驾驶车辆的测试方法、装置、电子设备和介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10114932B4 (de) * 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
DE102011116124A1 (de) * 2011-10-15 2013-04-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Anzeigen vonBetriebszuständen von Einrichtungen eines Fahrzeugs
CN105644471B (zh) * 2016-01-22 2018-02-02 重庆诚谋科技有限公司 基于移动智能终端的车载仪表信息数据同步显示系统
CN105882416A (zh) * 2016-03-29 2016-08-24 乐视控股（北京）有限公司 车辆状态显示方法、显示装置以及车载终端
CN107885096B (zh) * 2017-10-16 2021-07-27 中国电力科学研究院 一种无人机巡检航迹三维仿真监控系统
CN109017570B (zh) * 2018-06-12 2021-03-02 智车优行科技（北京）有限公司 车辆周围场景呈现方法和装置、车辆
CN108933930A (zh) * 2018-08-17 2018-12-04 成都跟驰科技有限公司 汽车便携式大视角成像监控系统
CN109345836A (zh) * 2018-10-26 2019-02-15 北理慧动（常熟）车辆科技有限公司 一种多模式无人车远程操控系统及方法
CN109557904B (zh) * 2018-12-06 2020-07-10 百度在线网络技术（北京）有限公司 一种测试方法、装置、设备和介质

Also Published As

Publication number Publication date
CN110562170A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN109557904B (zh) 一种测试方法、装置、设备和介质
US20210394787A1 (en) Simulation test method for autonomous driving vehicle, computer equipment and medium
CN103219030B (zh) 一种车载视频与总线数据同步采集及回放的方法
US20210134154A1 (en) Parallel remote control driving system for intelligent network vehicle
CN111736604B (zh) 一种远程驾驶控制方法、装置、设备及存储介质
EP3648076B1 (en) Method and apparatus for interacting traffic information, and computer storage medium
US20220048536A1 (en) Method and device for testing a driver assistance system
CN110562170B (zh) 一种无人车3d场景显示数据记录与模块调试系统及方法
CN108776481B (zh) 一种平行驾驶控制方法
US11308357B2 (en) Training data generation apparatus
CN111881519A (zh) 一种自动驾驶的测试方法、装置、计算机设备及存储介质
CN107766872A (zh) 一种识别光照驾驶场景的方法和装置
CN110572307A (zh) 一种自动驾驶车辆传感器数据采集测试平台
CN113246930B (zh) 一种监控车辆周围状态的方法及设备
CN112671487A (zh) 一种车辆测试的方法、服务器以及测试车辆
CN115755865A (zh) 一种商用车辅助驾驶硬件在环测试系统及方法
CN113689695B (zh) 路侧感知系统的数据采集、可视化和标定的方法及系统
CN114834453A (zh) 数据处理方法、装置、车辆、设备和存储介质
CN114511834A (zh) 一种确定提示信息的方法、装置、电子设备及存储介质
US20210334976A1 (en) Panoptic generative adversarial network with explicit modeling of category and instance information
CN113353072A (zh) 一种行车控制方法、装置、服务器及介质
US20230274590A1 (en) Scalable sensor analysis for vehicular driving assistance system
US20230298412A1 (en) Information prompt system and method
CN115862321A (zh) 场景数据获取方法、装置、设备及存储介质
CN117914842A (zh) 无人驾驶车辆监控方法、装置及系统、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant