CN110427504A - 基于kettle的汽车数据实时采集处理系统及方法 - Google Patents

Abstract

本发明公开了一种汽车数据实时采集处理系统，包括：车载服务器、车载数据实时采集系统、数据中继与处理系统以及云服务器；本发明还提供一种基于kettle的汽车数据实时采集处理方法，通过如前所述的系统实现。采用上述技术方案，本发明的汽车高频数据实时采集处理方法及系统，通过将数据处理任务部分地分配至多个处理单元进行处理，将数据处理量巨大的第三部分数据处理任务分配给云服务器，有效减小了车载服务器的载荷。

Description

基于kettle的汽车数据实时采集处理系统及方法

技术领域

本发明涉及一种基于kettle的汽车高频数据实时采集处理方法及系统，属于汽车数据采集处理技术领域。

背景技术

在数字科技时代，数据的价值是毋庸置疑的。如何最大化数据价值并提供更高质量的、有效数据已成为现阶段汽车制造商和服务提供商日益重要的问题。数据收集、处理、分析，不能忽略应用程序的每个方面。汽车数据采集，以车载视觉系统为例，行人检测用于定位车辆前方的行人，为驾驶员提供信息与提醒，是智能驾驶技术必需的功能之一。车载摄像头提供视频，即依时间顺序排列的图像流。配合图像流意外的输入信息，如雷达、红外线辅助探测都是提高识别率的有效方法。车辆检测用于定位行车前方的车辆，它不仅用于辅助驾驶，还是测量车距的先行程序，也是智能驾驶做出决策的重要参考因素，图像序列同样由车载摄像头拍摄的视频获得。测量车距与车速主要用于预防碰撞、侧挂事故，预计到危险时结合对驾驶员状态的判断给与提醒。检测车道线主要服务于车道偏离报警，检测交通标志的应用可以为驾驶员提供准确的交通信息，减少实现转移。除此之外，还包括其他诸如监视驾驶员状态、视线调节、视觉增强等辅助功能。随着对该系统的扩展，激光雷达是必不可少的。激光雷达原始数据庞大，每秒大约300MB。对汽车数据的处理，例如采集到的车载视觉系统的参数配置信息和图像信息，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息，输出确定的车载视觉系统自身运动信息，过程中均需要对数据进行大量的调取、运算处理。当车载系统无法完成对海量数据的及时数据处理时，云计算成为了一个解决方案。这对数据网络的传输负荷提出了更高的要求，同时网络高延迟所带来的滞后性也对这一方案的实施构成影响。然而，随着5G网络的应用与普及，上述问题能够得到充分的解决。新网络基于高密度基站的建立，通过基站对数据进行传输，低延迟、低功耗以及大流量的数据传输能力为云计算方案提供了技术支持。此外，优化数据结构也是汽车数据处理的另一个重要的改进方向。如今以计算机为基础开发的识别算法，与人脑的识别能力还有很大差距，需要大量的图形数据信息，辅助以大量的雷达、声音等信息完成识别，单目视觉计算简单快速，而双目与多目视觉，在突破立体成像算法复杂、困难的问题后，逐渐成为机器视觉的首选方法时，需要更多的数据量作为支持。因此，优化数据的采集结构，避免消耗系统大量的计算能力来分析处理额外的不被需要的数据，也是值得研究的一个方向。

发明内容

因此，本发明的目的在于提供一种汽车数据实时采集处理方法、系统，用于解决车载系统数据处理能力差的问题。

为了实现上述目的，本发明的汽车数据实时采集处理系统，包括：车载服务器、车载数据实时采集系统、数据中继与处理系统以及云服务器；

所述车载数据实时采集系统；

所述车载服务器用于接收车载数据实时采集系统采集到的采集数据；完成数据处理任务的第一部分；将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统；

所述数据中继与处理系统包括数据处理模块以及数据中转模块；所述数据处理模块用于完成数据处理任务的第二部分；所述数据中转模块用于将数据处理任务的第三部分及其对应的采集数据发送至云服务器，用于将数据处理模块的数据处理结果以及云服务器的数据处理结果发送至车载服务器；

所述云服务器用于完成数据处理任务的第三部分并将数据处理结果发送至数据中继与处理系统。

所述车载数据实时采集系统包括激光雷达模块；所述数据处理任务的第三部分基于激光雷达模块获得的点云数据完成，包括障碍物检测、可通行空间检测和/或障碍物轨迹预测。

所述云服务器用于接收多辆汽车的车载数据实时采集系统所采集的点云数据以及车辆的位置信息，并在进行数据处理任务的第三部分时共享点云数据。

所述云服务器用于进行车辆位置周边三维空间环境的构建并对构建的三维模型进行存储；用于在接收到其他汽车的车载数据实时采集系统所采集的点云数据后对三维模型进行修正；用于在进行数据处理任务的第三部分时调用数据库中存储的已经构建的三维模型数据。

所述汽车数据实时采集处理系统还包括至少一个公共激光雷达基站，所述公共激光雷达基站包括至少一个激光雷达，用于获得的汽车行驶道路区域空间环境的点云数据，并上传至云服务器，用于在云服务器用于在进行数据处理任务的第三部分时共享点云数据。

所述激光雷达装置为多个；所述车载服务器用于在接收到云服务器的数据处理结果后确定障碍物区域与非障碍物区域，并降低针对非障碍物区域进行扫描的激光雷达装置的扫描频率。

所述数据中继与处理系统包括至少一个5G无线网络基站；所述车载数据实时采集系统包括图像采集模块、定位模块以及如前所述的激光雷达模块；数据处理任务的第一部分或第二部分基于所述图像采集模块采集到的图像数据完成，包括行人检测、车辆检测、车道线检测或交通标志检测。

本发明还提供一种汽车数据实时采集处理方法，包括：

（1）车载服务器对车载数据实时采集系统的采集数据进行归类，并完成数据处理任务的第一部分，并将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统；

（2）所述数据中继与处理系统完成数据处理任务的第二部分，并将数据处理任务的第三部分及其对应的采集数据发送至云服务器；

（3）云服务器利用ETL工具Kettle对上传到云服务器中的原始采集数据进行数据清洗处理；对数据进行数据拆分、数据排序、数据去重和数据验证的数据转换处理；将结构化数据保存到数据库，将非结构化数据保存到文件系统；完成数据处理任务的第三部分后将任务处理结果并将数据处理结果发送至数据中继与处理系统；

（4）数据中继与处理系统将数据处理结果发送至车载服务器。

在所述步骤3中，所述云服务器接收到多辆汽车的车载数据实时采集系统中激光雷达模块所采集的点云数据以及车辆的位置信息，并在进行某一辆汽车的数据处理任务的第三部分时，根据其位置信息调用临近的其他汽车同一时序内获得的点云数据。

在所述步骤3中，所述云服务器接收到公共激光雷达基站所采集到的点云数据，并在进行某一辆汽车的数据处理任务的第三部分时，根据其位置信息调用临近的公共激光雷达基站同一时序内所采集到的点云数据。

在所述步骤4中，所述车载服务器在接收到云服务器的数据处理结果后，确定障碍物区域与非障碍物区域，并降低针对非障碍物区域进行扫描的激光雷达装置的扫描频率。

采用上述技术方案，本发明的汽车高频数据实时采集处理方法及系统，通过将数据处理任务部分地分配至多个处理单元进行处理，将数据处理量巨大的第三部分数据处理任务分配给云服务器，有效减小了车载服务器的载荷；同时，云服务器能够接收其他车辆的点云数据，或者接收到公共激光雷达基站的点云数据，从而在进行数据处理过程中能够调用这些点云数据进行辅助，使处于汽车激光雷达装置盲区的数据得以弥补；此外，车载服务器能够降低针对非障碍物区域进行扫描的激光雷达装置的扫描频率，在保证安全的情况下，降低了激光雷达装置的数据采集量，进一步减小数据传输压力以及云服务器的数据处理载荷，减小硬件延迟，提高数据处理速度。

附图说明

图1为一辆汽车的激光雷达装置获取点云数据的示意图。

图2为相邻的两辆汽车的激光雷达装置获取点云数据的示意图。

图3为汽车行驶路况中的激光雷达装置获取点云数据的示意图。

图4为在图3中设置公共激光雷达基站的示意图。

具体实施方式

以下通过附图和具体实施方式对本发明作进一步的详细说明。

本发明的汽车数据实时采集处理系统，包括：车载服务器、车载数据实时采集系统、数据中继与处理系统以及云服务器。

所述车载数据实时采集系统包括图像采集模块、定位模块以及激光雷达模块。

所述车载服务器用于接收车载数据实时采集系统采集到的采集数据；完成数据处理任务的第一部分；将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统。

所述数据中继与处理系统包括至少一个5G无线网络基站，并且在每个所述5G无线网络基站中设置有数据处理模块以及数据中转模块；所述数据处理模块用于完成数据处理任务的第二部分；所述数据中转模块用于将数据处理任务的第三部分及其对应的采集数据发送至云服务器，用于将数据处理模块的数据处理结果以及云服务器的数据处理结果发送至车载服务器。数据处理任务的第一部分或第二部分基于所述图像采集模块采集到的图像数据完成，包括行人检测、车辆检测、车道线检测或交通标志检测。所述云服务器用于完成数据处理任务的第三部分并将数据处理结果发送至数据中继与处理系统。

所述数据处理任务的第三部分基于激光雷达模块获得的点云数据完成，包括障碍物检测、可通行空间检测和/或障碍物轨迹预测。

采用上述技术方案，本发明的汽车高频数据实时采集处理系统，通过将数据处理任务部分地分配至多个处理单元进行处理，将数据处理量巨大的第三部分数据处理任务分配给云服务器，有效减小了车载服务器的载荷。

基于如前所述的汽车高频数据实时采集处理系统的方法，包括：

（1）车载服务器对车载数据实时采集系统的采集数据进行归类，并完成数据处理任务的第一部分，并将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统；

（2）所述数据中继与处理系统完成数据处理任务的第二部分，并将数据处理任务的第三部分及其对应的采集数据发送至云服务器；

（3）云服务器利用ETL工具Kettle对上传到云服务器中的原始采集数据进行数据清洗处理；对数据进行数据拆分、数据排序、数据去重和数据验证的数据转换处理；将结构化数据保存到数据库，将非结构化数据保存到文件系统；完成数据处理任务的第三部分后将任务处理结果并将数据处理结果发送至数据中继与处理系统；

（4）数据中继与处理系统将数据处理结果发送至车载服务器。

如图1所示，车载数据实时采集系统中的激光雷达装置在360°范围内进行扫描，采集点云数据。但当汽车附近有障碍物时，激光被障碍物阻挡，这使得在障碍物后侧的环境无法被获取，形成空白区，这一问题始终无法解决。

但本发明提供的系统中，由于采集数据被传输至云服务器，由于云服务器同时接受多个汽车数据，因此使对数据的整合成为可能。

所述云服务器用于接收多辆汽车的车载数据实时采集系统所采集的点云数据以及车辆的位置信息，并在进行数据处理任务的第三部分时共享点云数据。所述云服务器接收到多辆汽车的车载数据实时采集系统中激光雷达模块所采集的点云数据以及车辆的位置信息，并根据其位置信息能够调用临近汽车同一时序内获得的位置信息以及点云数据，并根据临近汽车的位置信息以及点云数据计算出对应的障碍物的位置信息，从而在进行某一辆数据处理任务的第三部分时将该辆汽车的激光扫描的空白区的环境通过临近汽车采集的数据进行弥补。如图1所示，第一汽车100的扫描区域内存在第一障碍物101、第二障碍物102以及第三障碍物103，但由于第三障碍物被第二障碍物102阻挡，因此无法获得第三障碍物103的点云数据。但第三障碍物103刚好处于临近汽车200的扫描范围内，当两辆汽车获得的点云数据与位置信息在云服务器共享后，云服务器则能够根据临近汽车200扫描获得的点云数据与其GPS定位的精确位置信息计算出第三障碍物103的位置，从而弥补第一汽车100的激光扫描空白区的环境信息。

此外，除了利用其它车辆的点云数据，还可以在汽车行驶的道路上设置多个固定的公共激光雷达基站，所述公共激光雷达基站包括至少一个激光雷达，用于获得的汽车行驶道路区域空间环境的点云数据，并上传至云服务器，用于在云服务器用于在进行数据处理任务的第三部分时共享点云数据。如图3所示，汽车在道路行驶时扫描激光会被周边的车辆遮挡，从而在这些车辆的后侧形成空白区，因此，如图4所示，通过公共激光雷达基站1能够弥补这些空白区的数据。具体而言，所述云服务器接收到公共激光雷达基站所采集到的点云数据，并在进行某一辆汽车的数据处理任务的第三部分时，根据其位置信息调用临近的公共激光雷达基站同一时序内所采集到的点云数据。通过上述的系统及方法，云服务器能够接收其他车辆的点云数据，或者接收到公共激光雷达基站的点云数据，从而在进行数据处理过程中能够调用这些点云数据进行辅助，使处于汽车激光雷达装置盲区的数据得以弥补；

同时，在汽车上设置的所述激光雷达装置为多个，多个激光雷达装置分别对不同方位进行扫描。所述车载服务器用于在接收到云服务器的数据处理结果后确定障碍物区域与非障碍物区域，并降低针对非障碍物区域进行扫描的激光雷达装置的扫描频率。如图4所示，图中的激光雷达装置为四个，其中左侧和前侧的两个激光雷达装置的扫描区域为障碍物区域，而右侧和后侧的两个激光雷达装置的扫描区域为非障碍物区域，因此，在车载服务器获得反馈结果后，控制右侧和后侧的两个激光雷达装置降低扫描频率，在保证安全的情况下，降低了激光雷达装置的数据采集量，进一步减小数据传输压力以及云服务器的数据处理载荷，减小硬件延迟，提高数据处理速度。

所述云服务器还用于进行车辆位置周边三维空间环境的构建并对构建的三维模型进行存储；用于在接收到其他汽车的车载数据实时采集系统所采集的点云数据后对三维模型进行修正；用于在进行数据处理任务的第三部分时调用数据库中存储的已经构建的三维模型数据。

显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种汽车数据实时采集处理系统，其特征在于：包括：车载服务器、车载数据实时采集系统、数据中继与处理系统以及云服务器；

所述车载数据实时采集系统；

所述车载服务器用于接收车载数据实时采集系统采集到的采集数据；完成数据处理任务的第一部分；将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统；

所述数据中继与处理系统包括数据处理模块以及数据中转模块；所述数据处理模块用于完成数据处理任务的第二部分；所述数据中转模块用于将数据处理任务的第三部分及其对应的采集数据发送至云服务器，用于将数据处理模块的数据处理结果以及云服务器的数据处理结果发送至车载服务器；

所述云服务器用于完成数据处理任务的第三部分并将数据处理结果发送至数据中继与处理系统。

2.如权利要求1所述的汽车数据实时采集处理系统，其特征在于：所述车载数据实时采集系统包括激光雷达模块；所述数据处理任务的第三部分基于激光雷达模块获得的点云数据完成，包括障碍物检测、可通行空间检测和/或障碍物轨迹预测。

3.如权利要求2所述的汽车数据实时采集处理系统，其特征在于：所述云服务器用于接收多辆汽车的车载数据实时采集系统所采集的点云数据以及车辆的位置信息，并在进行数据处理任务的第三部分时共享点云数据。

4.如权利要求2或3任一项所述的汽车数据实时采集处理系统，其特征在于：所述汽车数据实时采集处理系统还包括至少一个公共激光雷达基站，所述公共激光雷达基站包括至少一个激光雷达，用于获得的汽车行驶道路区域空间环境的点云数据，并上传至云服务器，用于在云服务器用于在进行数据处理任务的第三部分时共享点云数据。

5.如权利要求2-5任一项所述的汽车数据实时采集处理系统，其特征在于：所述激光雷达装置为多个；所述车载服务器用于在接收到云服务器的数据处理结果后确定障碍物区域与非障碍物区域，并降低针对非障碍物区域进行扫描的激光雷达装置的扫描频率。

6.如权利要求1-5任一项所述的汽车数据实时采集处理系统，其特征在于：所述数据中继与处理系统包括至少一个5G无线网络基站；所述车载数据实时采集系统包括图像采集模块、定位模块以及如前所述的激光雷达模块；数据处理任务的第一部分或第二部分基于所述图像采集模块采集到的图像数据完成，包括行人检测、车辆检测、车道线检测或交通标志检测。

7.一种基于kettle的汽车数据实时采集处理方法，其特征在于，包括：

（1）车载服务器对车载数据实时采集系统的采集数据进行归类，并完成数据处理任务的第一部分，并将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统；

（2）所述数据中继与处理系统完成数据处理任务的第二部分，并将数据处理任务的第三部分及其对应的采集数据发送至云服务器；

（3）云服务器利用ETL工具Kettle对上传到云服务器中的原始采集数据进行数据清洗处理；对数据进行数据拆分、数据排序、数据去重和数据验证的数据转换处理；将结构化数据保存到数据库，将非结构化数据保存到文件系统；完成数据处理任务的第三部分后将任务处理结果并将数据处理结果发送至数据中继与处理系统；

（4）数据中继与处理系统将数据处理结果发送至车载服务器。

8.如权利要求7所述的汽车数据实时采集处理方法，其特征在于：在所述步骤3中，所述云服务器接收到多辆汽车的车载数据实时采集系统中激光雷达模块所采集的点云数据以及车辆的位置信息，并在进行某一辆汽车的数据处理任务的第三部分时，根据其位置信息调用临近的其他汽车同一时序内获得的点云数据。

9.如权利要求8所述的汽车数据实时采集处理方法，其特征在于：在所述步骤3中，所述云服务器接收到公共激光雷达基站所采集到的点云数据，并在进行某一辆汽车的数据处理任务的第三部分时，根据其位置信息调用临近的公共激光雷达基站同一时序内所采集到的点云数据。

10.如权利要求7-9任一项所述的汽车数据实时采集处理方法，其特征在于：在所述步骤4中，所述车载服务器在接收到云服务器的数据处理结果后，确定障碍物区域与非障碍物区域，并降低针对非障碍物区域进行扫描的激光雷达装置的扫描频率。