CN110633314A - 车联网数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种车联网数据处理方法及装置，属于汽车数据处理技术领域。其中所述车联网数据处理方法包括：接收输入的车联网数据，并将接收的车联网数据作为数据源；对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中；对所述目标数据库中的标准数据进行分析得到数据特征，对所述标准数据进行抽样划分为训练集合和测试集合，根据所述数据特征在所述训练集合上建立多个初步预测模型，并利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型。本发明可以大大提高数据处理效率。

Description

车联网数据处理方法及装置

技术领域

本发明涉及汽车数据处理技术领域，特别涉及一种车联网数据处理方法及装置。

背景技术

随着汽车行业越来越重视汽车安全、智能等问题，大大促进了新技术的开发运动，越来越多的电子技术应用到汽车上，如控制器、大量的传感器、网络设备等在汽车上应用，大大改善了汽车的安全、舒适、智能等性能，提高了汽车的整体性能和水平，尤其是汽车智能化、网络化趋势尤为显著，由此衍生出车联网系统。

车联网系统是指通过在车辆仪表台安装的车载终端设备，实现对车内车外所有工作情况的采集、存储并发送，从而能够实现车与车、车与路侧基础设施间的实时信息交互，告知彼此目前的状态，获知当前的道路环境信息，从而实现协作感知道路危险状况、及时提供多种碰撞预警信息、防止道路交通安全事故的发生。车载终端设备是车联网系统中的重要组成部分，负责收集车联网数据。其中，车联网数据具体是指通过使用车载数据采集系统如图像采集系统、传感器等，采集车辆运行状态，油耗状态等数据信息。对采集的数据进行处理主要是依靠后台数据处理系统。

后台数据处理系统通常采用人工进行处理，通过人工对所有车辆的各种属性信息进行提取，进而基于提取的数据进行大数据分析，从而根据分析结果优化车辆的性能，并根据不同的功能需求对车辆的运行状态进行有效的监督和提供综合服务。上述对车联网数据进行人工处理的方法其处理效率低，无法满足用户的数据处理需求和预测要求。

发明内容

本发明提供一种车联网数据处理方法及装置，能够大大提高数据处理效率。

所述技术方案如下：

本发明实施例提供了一种车联网数据处理方法，其包括：接收输入的车联网数据，并将接收的车联网数据作为数据源；对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中；对所述目标数据库中的标准数据进行分析得到数据特征，对所述标准数据进行抽样划分为训练集合和测试集合，根据所述数据特征在所述训练集合上建立多个初步预测模型，并利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型。

在本发明较佳的实施例中，对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中，包括：从所述数据源抽取所需数据；从所需数据中过滤掉不符合要求的数据，以得到过滤后的数据；将所述过滤后的数据转换为标准数据；按照预先定义好的目标数据库模型，将所述标准数据加载到目标数据库中。

在本发明较佳的实施例中，所述不符合要求的数据包括不完整的数据、错误的数据、重复的数据，所述车联网数据包括车辆故障数据、车辆油耗数据、车辆运行状态数据、车辆监控数据中的至少一种数据类型。

在本发明较佳的实施例中，对所述标准数据进行抽样划分为训练集合和测试集合，包括：利用随机抽样方法对所述标准数据进行抽样划分为多个训练集合和多个测试集合。

在本发明较佳的实施例中，利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型，包括：将每一个初步预测模型在多个测试集合上进行测试，若一个初步预测模型在多个测试集合的测试结果均小于预设误差阈值，则通过测试并将测试结果小于预设误差阈值的初步预测模型作为最终预测模型，若每一个初步预测模型在测试集合的评分均大于预设误差阈值，则重新选择相应的算法或调整参数值，以重新建立多个初步预测模型，并将重新建立的多个初步预测模型在测试集合上进行测试。

在本发明较佳的实施例中，还包括：将新数据输入最终预测模型，对新数据进行预测，以得到预测结果。

本发明实施例还提供了一种车联网数据处理装置，其包括：输入单元、ETL单元、模型训练单元，其中，所述输入单元，与所述ETL单元相连，用于接收输入的车联网数据，并将接收的车联网数据作为数据源；所述ETL单元，与所述模型训练单元相连，用于对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中；所述模型训练单元，用于对所述目标数据库中的标准数据进行分析得到数据特征，对所述标准数据进行抽样划分为训练集合和测试集合，根据所述数据特征在所述训练集合上建立多个初步预测模型，并利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型。

在本发明较佳的实施例中，所述ETL单元包括数据提取模块、数据清洗模块、数据转换模块以及数据加载模块，其中，所述数据提取模块，用于从所述数据源抽取所需数据；所述数据清洗模块，用于从所需数据中过滤掉不符合要求的数据，以得到过滤后的数据；所述数据转换模块，用于将所述过滤后的数据转换为标准数据；所述数据加载模块，用于按照预先定义好的目标数据库模型，将所述标准数据加载到目标数据库中。

在本发明较佳的实施例中，所述不符合要求的数据包括不完整的数据、错误的数据、重复的数据，所述车联网数据包括车辆故障数据、车辆油耗数据、车辆运行状态数据、车辆监控数据中的至少一种数据类型。

在本发明较佳的实施例中，所述模型训练单元，还用于将每一个初步预测模型在多个测试集合上进行测试，若一个初步预测模型在多个测试集合的测试结果均小于预设误差阈值，则通过测试并将测试结果小于预设误差阈值的初步预测模型作为最终预测模型，若每一个初步预测模型在测试集合的评分均大于预设误差阈值，则重新选择相应的算法或调整参数值，以重新建立多个初步预测模型，并将重新建立的多个初步预测模型在测试。

本发明实施例提供的技术方案带来的有益效果是：

通过接收输入的车联网数据，并将接收的车联网数据作为数据源；对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中；对所述目标数据库中的标准数据进行分析得到数据特征，对所述标准数据进行抽样划分为训练集合和测试集合，根据所述数据特征在所述训练集合上建立多个初步预测模型，并利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型，使得可以自动分析海量的车联网数据，实际操作人员无需对算法深入了解，就可以通过该方法自助完成最终预测模型，方便操作人员了解车辆业务动态，从而为后续预测数据提供技术支撑，并且此方法以机器自动学习为主，人为干预因素少，建模过程以及模型的更新效率快，大大提高了数据的处理效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明第一实施例提供的车联网数据处理方法的步骤流程图；

图2是本发明第二实施例提供的车联网数据处理方法的步骤流程图；

图3是本发明第三实施例提供的车联网数据处理方法的步骤流程图；

图4是本发明第四实施例提供的车联网数据处理装置的主要架构框图；

图5是本发明第五实施例提供的车联网数据处理装置的主要架构框图；

图6是本发明第六实施例提供的车联网数据处理装置的主要架构框图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的车联网数据处理方法及装置其具体实施方式、结构、特征及功效，详细说明如后。

有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例详细说明中将可清楚的呈现。通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。

第一实施例

图1是本发明第一实施例提供的车联网数据处理方法的步骤流程图。所述方法可以大大提高数据的处理效率，请参考图1，本实施例的车联网数据处理方法，可以包括以下步骤101-105。

步骤101，接收输入的车联网数据，并将接收的车联网数据作为数据源。

在本步骤中，可以接收用户输入的各种车联网数据。车联网数据可以包括车辆故障数据、车辆油耗数据、车辆运行状态数据、车辆监控数据等中的至少一种数据类型，车辆故障数据可以包括车辆故障描述、故障发现时间、故障发现次数、对应故障的解决方法等数据。车辆油耗数据可以包括车辆耗油量、剩余油量等数据。车辆运行状态数据可以包括车辆运行速度、车辆运行时长等数据。车辆监控数据可以包括车辆监控画面、监控画面拍摄的时间等。

步骤103，对数据源进行ETL(Extract-Transform-Load，数据经过抽取、转换、加载的过程)处理，以转换为标准数据后加载到目标数据库中。

其中，对数据源进行ETL处理，即对数据源依次进行清洗、提取、转换、加载等处理。

步骤105，对目标数据库中的标准数据进行分析得到数据特征，对标准数据进行抽样划分为训练集合和测试集合，根据数据特征在训练集合上建立多个初步预测模型，并利用测试集合对多个初步预测模型进行测试得到最终预测模型。

在本步骤中，可以对标准数据进行分析，确定标准数据的数据特征，数据特征例如可以包括时间特征、领域特征、数据量特征等，例如其中一个数据特征可以为用户在过去一个月的累计故障发现次数。本步骤中，可以在训练集合上建立多个初步预测模型，通过测试集合对初步预测模型进行测试以不断优化初步预测模型，从而最后得到最终预测模型。

优选地，步骤105中，对标准数据进行抽样划分为训练集合和测试集合，具体可以包括：利用随机抽样方法对标准数据进行抽样划分为多个训练集合和多个测试集合。其中，训练集合用于建立初步预测模型，测试集合用于测试初步预测模型，以使初步预测模型更加优化。

优选地，步骤105中，根据数据特征在训练集合上建立初步预测模型，具体可以包括：根据数据特征选择相应的算法和设置参数值在训练集合上建立初步预测模型。

其中，算法可以为常见的机器学习算法，例如包括有监督算法和无监督算法。有监督算法可以包括逻辑回归、线性回归、支持向量机、决策树算法等；无监督算法可以包括K-means聚类等。可以通过上述算法和算法设置的参数值进行建模。建立的初步预测模型在测试集合上进行测试，根据测试结果确定初步预测模型是否进一步优化以及如何优化。从初步预测模型中选择最优的模型作为最终预测模型，具体地，通过反复测试得到初步预测模型，最后根据其在测试集合上的测试结果，例如在测试集合上得到的误差均小于预设误差阈值，选出最优的初步预测模型作为最终预测模型。上述过程也就是车联网历史数据的ETL处理、模型训练过程，得到的最终预测模型供后续分析之用。

优选地，步骤105还可以包括：通过预先设置的更新时间，自动获取最新数据并重新训练出合适的最终预测模型，从而使最终预测模型始终保持有效性。

优选地，步骤105中，利用测试集合对初步预测模型进行测试得到最终预测模型，具体可以包括：将每一个初步预测模型在多个测试集合上进行测试，若一个初步预测模型在多个测试集合的测试结果均小于预设误差阈值，则通过测试并将测试结果小于预设误差阈值的初步预测模型作为最终预测模型，若每一个初步预测模型在测试集合的评分均大于预设误差阈值，则重新选择相应的算法或调整参数值，以重新建立多个初步预测模型，并将重新建立的多个初步预测模型在测试集合上进行测试。其中，若一个测试集合为(x＝1，y＝0.5)，则y＝0.5为真实值，测试结果可以为一个初步预测模型在一个测试集合上测试后得到的预测值与真实值之间的误差，例如真实值y0＝0.5，一个初步预测模型在一个测试集合上测试所得到的预测值y1＝0.25，则误差为y1-y0＝-0.25。预设误差阈值可以根据实际需求和实际情况进行设定，本发明对此不进行任何限定。

其中，若一个初步预测模型在测试集合上表现优越，即一个初步预测模型在多个测试集合上的测试结果均小于预设误差阈值，则认为此初步预测模型通过测试，否则，认为此初步预测模型还有待改进，改进方向可以为调整预测模型的参数值或重新选择相应的算法，以重新建立多个初步预测模型，并将重新建立的多个初步预测模型在多个测试集合上进行测试，直至所得到的最终预测模型在多个测试集合上的测试结果均小于预设误差阈值为止。

综上所述，本发明实施例提供的车联网数据处理方法，通过接收输入的车联网数据，并将接收的车联网数据作为数据源；对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中；对所述目标数据库中的标准数据进行分析得到数据特征，对所述标准数据进行抽样划分为训练集合和测试集合，根据所述数据特征在所述训练集合上建立多个初步预测模型，并利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型，使得可以自动分析海量的车联网数据，实际操作人员无需对算法深入了解，就可以通过该方法自助完成最终预测模型，方便操作人员了解车辆业务动态，从而为后续预测数据提供技术支撑，并且此方法以机器自动学习为主，人为干预因素少，建模过程以及模型的更新效率快，大大提高了数据的处理效率。

第二实施例

图2是本发明第二实施例提供的车联网数据处理方法的步骤流程图。其与图1所示的车联网数据处理方法相似，其不同之处在于，图2的步骤103具体可以包括：步骤201-207。

步骤201，从数据源抽取所需数据。

其中，所需数据可以包括所需数据的时间段、所需字段的名称等信息。

步骤203，从所需数据中过滤掉不符合要求的数据，以得到过滤后的数据。

其中，可以从所需数据中删除不符合要求的数据，不符合要求的数据可以包括不完整的数据、错误的数据、重复的数据等。

步骤205，将过滤后的数据转换为标准数据。

其中，本步骤中，转换为标准数据可以为：将过滤后的数据中的时间转换为标准时间，将步骤105训练时所使用的算法无法处理的字段转换为能够处理的字段等。此外，还可以进行数据粒度的转换等。

步骤207，按照预先定义好的目标数据库模型，将标准数据加载到目标数据库中。

其中，目标数据库可以为Oracle数据库等。

综上所述，本发明实施例提供的车联网数据处理方法，还通过对数据进行ETL处理，可以准确而又快速地得到适合模型训练单元所需的标准数据，大大提高了处理效率，降低了成本，提高了后续建模的准确率。

第三实施例

图3是本发明第三实施例提供的车联网数据处理方法的步骤流程图。其与图1或图2所示的车联网数据处理方法相似，其不同之处在于，图1的步骤105之后具体还可以包括：步骤301。

步骤301，将新数据输入最终预测模型，对新数据进行预测，以得到预测结果。

本步骤中，可以调用训练好的最终预测模型对这条新数据进行判别，可以输出预测结果。例如预测结果可以为具体数值，例如0.3，以供用户判别属于正常数据还是属于故障数据等，从而可以实时对车联网数据进行较为准确的判别和决策。

需要说明的是，在其他实施例中，也可以是图2的步骤207之后包括步骤301。

综上所述，本发明实施例提供的车联网数据处理方法，还通过将新数据输入最终预测模型，对新数据进行预测，以得到预测结果，从而使得任何车联网数据利用最终预测模型就可以得到预测结果，以达到方便、高效地进行数据预测分析的目的。

以下为本发明的装置实施例，在装置实施例中未详尽描述的细节，可以参考上述对应的方法实施例。

第四实施例

图4是本发明第四实施例提供的车联网数据处理装置的主要架构框图。所述车联网数据处理装置可以大大提高数据的处理效率。请参阅图4，所述车联网数据处理装置包括：输入单元40、ETL单元41、模型训练单元42。

更具体地，输入单元40，与ETL单元41相连，用于接收输入的车联网数据，并将接收的车联网数据作为数据源提供给ETL单元41。

其中，输入单元40可以接收用户输入的各种车联网数据。车联网数据可以包括车辆故障数据、车辆油耗数据、车辆运行状态数据、车辆监控数据等中的至少一种数据类型，车辆故障数据可以包括车辆故障描述、故障发现时间、故障发现次数、对应故障的解决方法等数据。车辆油耗数据可以包括车辆耗油量、剩余油量等数据。车辆运行状态数据可以包括车辆运行速度、车辆运行时长等数据。车辆监控数据可以包括车辆监控画面、监控画面拍摄的时间等。

ETL单元41，与输入单元40和模型训练单元42相连，用于对数据源进行ETL处理，以转换为标准数据后加载到目标数据库中。

其中，ETL单元41用于对数据源进行ETL处理，即对数据源依次进行清洗、提取、转换、加载等处理。

模型训练单元42，与ETL单元41相连，用于对目标数据库中的标准数据进行分析得到数据特征，对标准数据进行抽样划分为训练集合和测试集合，根据数据特征在训练集合上建立多个初步预测模型，并利用测试集合对多个初步预测模型进行测试得到最终预测模型。

其中，模型训练单元42可以对标准数据进行分析，确定标准数据的数据特征，数据特征例如可以包括时间特征、领域特征、数据量特征等，例如其中一个数据特征可以为用户在过去一个月的累计故障发现次数。模型训练单元42可以在训练集合上建立多个初步预测模型，通过测试集合对初步预测模型进行测试以使初步预测模型不断优化，从而最后得到最终预测模型。

优选地，模型训练单元42对标准数据进行抽样划分为训练集合和测试集合，具体可以包括：模型训练单元42还用于利用随机抽样方法对标准数据进行抽样划分为多个训练集合和多个测试集合。其中，训练集合用于建立初步预测模型，测试集合用于测试初步预测模型，以对初步预测模型进行优化。

优选地，模型训练单元42根据数据特征在训练集合上建立初步预测模型，具体可以包括：

模型训练单元42还用于根据数据特征选择相应的算法和设置参数值在训练集合上建立初步预测模型。

其中，算法可以为常见的机器学习算法，例如包括有监督算法和无监督算法。有监督算法可以包括逻辑回归、线性回归、支持向量机、决策树算法等；无监督算法可以包括K-means聚类等。模型训练单元12可以通过上述算法和算法的参数值进行建模。建立的初步预测模型在测试集合上进行测试，根据测试结果确定初步预测模型是否进一步优化以及如何优化。从初步预测模型中选择最优的模型作为最终预测模型，具体地，通过反复测试得到初步预测模型，最后根据其在测试集合上的测试结果，例如在测试集合上得到的误差均小于预设误差阈值，选出最优的初步预测模型作为最终预测模型。上述过程也就是车联网历史数据的ETL处理、模型训练过程，得到的最终预测模型供后续分析之用。

优选地，模型训练单元42还可以通过预先设置的更新时间，自动获取最新数据并重新训练出合适的最终预测模型，从而使最终预测模型始终保持有效性。

优选地，模型训练单元42利用测试集合对初步预测模型进行测试得到最终预测模型，具体可以包括：

模型训练单元42用于将每一个初步预测模型在多个测试集合上进行测试，若一个初步预测模型在多个测试集合的测试结果均小于预设误差阈值，则通过测试并将测试结果小于预设误差阈值的初步预测模型作为最终预测模型，若每一个初步预测模型在测试集合的评分均大于预设误差阈值，则重新选择相应的算法或调整参数值，以重新建立多个初步预测模型，并将重新建立的多个初步预测模型在测试集合上进行测试。其中，若一个测试集合为(x＝1，y＝0.5)，则y＝0.5为真实值，测试结果可以为一个初步预测模型在一个测试集合上测试后得到的预测值与真实值之间的误差，例如真实值y0＝0.5，一个初步预测模型在一个测试集合上测试所得到的预测值y1＝0.25，则误差为y1-y0＝-0.25。预设误差阈值可以根据实际需求和实际情况进行设定，本发明对此不进行任何限定。

其中，若一个初步预测模型在测试集合上表现优越，即一个初步预测模型在多个测试集合上的测试结果均小于预设误差阈值，则认为此初步预测模型通过测试，否则，认为此初步预测模型还有待改进，改进方向可以为调整预测模型的参数值或重新选择相应的算法，以重新建立多个初步预测模型，并将重新建立的多个初步预测模型在多个测试集合上进行测试，直至所得到的最终预测模型在多个测试集合上的测试结果均小于预设误差阈值为止。

综上所述，本发明实施例提供的车联网数据处理装置，通过输入单元接收输入的车联网数据，并将接收的车联网数据作为数据源；ETL单元对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中；模型训练单元对所述目标数据库中的标准数据进行分析得到数据特征，对所述标准数据进行抽样划分为训练集合和测试集合，根据所述数据特征在所述训练集合上建立多个初步预测模型，并利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型，使得可以自动分析海量的车联网数据，实际操作人员无需对算法深入了解，就可以通过该方法自助完成最终预测模型，方便操作人员了解车辆业务动态，从而为后续预测数据提供技术支撑，并且此方法以机器自动学习为主，人为干预因素少，建模过程以及模型的更新效率快，大大提高了数据的处理效率。

第五实施例

图5是本发明第五实施例提供的车联网数据处理装置的主要架构框图。请参考图5，其与图4所示的车联网数据处理装置相似，其不同之处在于，所述ETL单元41具体可以包括：数据提取模块510、数据清洗模块511、数据转换模块512以及数据加载模块513。

具体地，数据提取模块510，与输入单元40和数据清洗模块511相连，用于从数据源抽取所需数据。其中，所需数据可以包括所需数据的时间段、所需字段的名称等信息。

数据清洗模块511，与数据提取模块510和数据转换模块512相连，用于从所需数据中过滤掉不符合要求的数据，以得到过滤后的数据。其中，数据清洗模块511可以从所需数据中删除不符合要求的数据，不符合要求的数据可以包括不完整的数据、错误的数据、重复的数据等。

数据转换模块512，与数据清洗模块511和数据加载模块513相连，用于将过滤后的数据转换为标准数据。其中，转换为标准数据可以为：数据转换模块512将过滤后的数据中的时间转换为标准时间，将模型训练单元42训练时所使用的算法无法处理的字段转换为能够处理的字段等。此外，数据转换模块512还可以进行数据粒度的转换等。

数据加载模块513，与数据转换模块512相连，用于按照预先定义好的目标数据库模型，将标准数据加载到目标数据库中。其中，目标数据库可以为Oracle数据库等。

综上所述，本发明实施例提供的车联网数据处理装置，还通过对数据进行ETL处理，可以准确而又快速地得到适合模型训练单元所需的标准数据，大大提高了处理效率，降低了成本，提高了后续建模的准确率。

第六实施例

图6是本发明第五实施例提供的车联网数据处理装置的主要架构框图。请参考图6，其与图4或图5所示的车联网数据处理装置相似，其不同之处在于，所述车联网数据处理装置还可以包括：数据预测单元60。

数据预测单元60，与模型训练单元42相连，用于将新数据输入最终预测模型，对新数据进行预测，以得到预测结果。

其中，数据预测单元60可以调用训练好的最终预测模型对这条新数据进行判别，可以输出预测结果。例如预测结果可以为具体数值，例如0.3，以供用户判别属于正常数据还是属于故障数据等，从而可以实时对车联网数据进行较为准确的判别和决策。

需要说明的是，在其他实施例中，也可以是图5的数据加载模块513与数据预测单元60相连。

综上所述，本发明实施例提供的车联网数据处理装置，还通过将新数据输入最终预测模型，对新数据进行预测，以得到预测结果，从而使得任何车联网数据利用最终预测模型就可以得到预测结果，以达到方便、高效地进行数据预测分析的目的。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种车联网数据处理方法，其特征在于，所述车联网数据处理方法，包括：

接收输入的车联网数据，并将接收的车联网数据作为数据源；

对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中；

对所述目标数据库中的标准数据进行分析得到数据特征，对所述标准数据进行抽样划分为训练集合和测试集合，根据所述数据特征在所述训练集合上建立多个初步预测模型，并利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型。

2.根据权利要求1所述的车联网数据处理方法，其特征在于，对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中，包括：

从所述数据源抽取所需数据；

从所需数据中过滤掉不符合要求的数据，以得到过滤后的数据；

将所述过滤后的数据转换为标准数据；

按照预先定义好的目标数据库模型，将所述标准数据加载到目标数据库中。

3.根据权利要求1所述的车联网数据处理方法，其特征在于，所述不符合要求的数据包括不完整的数据、错误的数据、重复的数据，所述车联网数据包括车辆故障数据、车辆油耗数据、车辆运行状态数据、车辆监控数据中的至少一种数据类型。

4.根据权利要求1所述的车联网数据处理方法，其特征在于，对所述标准数据进行抽样划分为训练集合和测试集合，包括：

利用随机抽样方法对所述标准数据进行抽样划分为多个训练集合和多个测试集合。

5.根据权利要求1所述的车联网数据处理方法，其特征在于，利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型，包括：

将每一个初步预测模型在多个测试集合上进行测试，若一个初步预测模型在多个测试集合的测试结果均小于预设误差阈值，则通过测试并将测试结果小于预设误差阈值的初步预测模型作为最终预测模型，若每一个初步预测模型在测试集合的评分均大于预设误差阈值，则重新选择相应的算法或调整参数值，以重新建立多个初步预测模型，并将重新建立的多个初步预测模型在测试集合上进行测试。

6.根据权利要求1所述的车联网数据处理方法，其特征在于，还包括：将新数据输入最终预测模型，对新数据进行预测，以得到预测结果。

7.一种车联网数据处理装置，其特征在于，其包括：输入单元、ETL单元、模型训练单元，其中，

所述输入单元，与所述ETL单元相连，用于接收输入的车联网数据，并将接收的车联网数据作为数据源；

所述ETL单元，与所述模型训练单元相连，用于对所述数据源进行ETL处理，以转换为标准数据后加载到目标数据库中；

所述模型训练单元，用于对所述目标数据库中的标准数据进行分析得到数据特征，对所述标准数据进行抽样划分为训练集合和测试集合，根据所述数据特征在所述训练集合上建立多个初步预测模型，并利用所述测试集合对所述多个初步预测模型进行测试得到最终预测模型。

8.根据权利要求7所述的车联网数据处理装置，其特征在于，所述ETL单元包括数据提取模块、数据清洗模块、数据转换模块以及数据加载模块，其中，

所述数据提取模块，用于从所述数据源抽取所需数据；

所述数据清洗模块，用于从所需数据中过滤掉不符合要求的数据，以得到过滤后的数据；

所述数据转换模块，用于将所述过滤后的数据转换为标准数据；

所述数据加载模块，用于按照预先定义好的目标数据库模型，将所述标准数据加载到目标数据库中。

9.根据权利要求7所述的车联网数据处理装置，其特征在于，所述不符合要求的数据包括不完整的数据、错误的数据、重复的数据，所述车联网数据包括车辆故障数据、车辆油耗数据、车辆运行状态数据、车辆监控数据中的至少一种数据类型。

10.根据权利要求7所述的车联网数据处理装置，其特征在于，所述模型训练单元，还用于将每一个初步预测模型在多个测试集合上进行测试，若一个初步预测模型在多个测试集合的测试结果均小于预设误差阈值，则通过测试并将测试结果小于预设误差阈值的初步预测模型作为最终预测模型，若每一个初步预测模型在测试集合的评分均大于预设误差阈值，则重新选择相应的算法或调整参数值，以重新建立多个初步预测模型，并将重新建立的多个初步预测模型在测试；所述车联网数据处理装置还包括数据预测单元，所述数据预测单元用于将新数据输入最终预测模型，对新数据进行预测，以得到预测结果。

Images